ベンヤミン・ピルゼの楽団から独立した54人の楽員に新たに6名が加わり、1882年5月1日に発足。当初は常任指揮者をおかず、演奏活動を続けていたが、1887年にハンス･フォン･ビューローが初代常任指揮者に就任し、たった5年の舵取りで、ベルリン・フィルの名前と演奏水準を著しく向上させた。1895年から1922年まではアルトゥール・ニキシュの時代。ニキシュは多彩なレパートリーの基礎を作り、彼の指揮の下、オーケストラは国際的地位を獲得。共演を望んだ大物ソリストたちがこぞってベルリンを訪れたという。
1922年からはヴィルヘルム・フルトヴェングラーが常任指揮者を努め、短期間のうちにオーケストラを掌握し精力的な活動を展開。そのコンビネーションは、演奏史上でも際立った存在であったが、第2次世界大戦により活動が制約された上、戦後、彼が演奏を禁止されたことにより、ベルリン・フィルは危機的な状況を迎える。1947年にフルトヴェングラーが楽団に復帰。オーケストラも復興へと向い、1955年に初のアメリカ･ツアーが企画されたが、その前年、フルトヴェングラーが死去。ツアーは、ヘルベルト・フォン・カラヤンの手にゆだねられた。
翌1956年、カラヤンが終身指揮者兼芸術監督に就任。以後33年にわたって、カラヤン/ベルリン･フィルは数多くのレコーディングを通じて世界的名声を確立。音楽産業などに大きな影響を与えるとともに、西ベルリンという特殊な都市において「西側」の文化的地位を誇示する象徴的存在となった。1963年には、あらたな本拠であるフィルハーモニー（ハンス・シャロウン設計）が完成。1967年からはザルツブルク・イースター音楽祭に参加し、オペラにも進出。また、若い才能ある演奏家にトップクラスのオーケストラとの実地体験の機会を与えるため、ベルリン・フィル・オーケストラ・アカデミーも創設された。カラヤンは、亡くなる直前の1989年4月に辞任。
東西ドイツが統一された1990年にクラウディオ・アバドが首席指揮者・芸術監督に就任。メンバーの若返りが進み、オーケストラの柔軟性にも磨きがかかった。そして、2002年秋には、サイモン・ラトルが首席指揮者・芸術監督に迎えられ、現在に至る。ラトルとの来日公演は、2004年、2005年に続き、今回が3回目。

英国のリヴァプール生まれ。幼少の頃より打楽器とピアノを始め、ロンドンの王立音楽院に入学して指揮と打楽器を学ぶ。1974年、ジョン･プレイヤー国際指揮者コンクールで優勝し注目を集め、その後ボーンマス交響楽団の副指揮者を務めるなど、主にイギリスのオーケストラとの仕事を通じて指揮者としての経験を積む。1979年にロサンゼルス・フィルを振ってアメリカデビュー。
1980年、バーミンガム市交響楽団（CBSO）の首席指揮者に任命され、1990年秋から辞任する98年夏までは同楽団の音楽監督を務めた。その間、一貫して芸術的に興味深いプロジェクトを展開、また数多くの優れた録音により、CBSOは国際的なオーケストラへと躍進、演奏旅行も盛んになった。1994年、彼の著しい功績が称えられナイトの称号を授与され、「SIR（サー）」の敬称で呼ばれる。
CBSOでの活動と並行して、アメリカとヨーロッパを代表するオーケストラを指揮。なかでもボストン交響楽団、フィラデルフィア管弦楽団およびウィーン・フィルとは長年にわたり共演を重ねている。また、古楽器オーケストラのエイジ・オブ・エンライトゥンメント管弦楽団との関係も深く、オペラの分野での活動にも早くから取り組んでいた。
ベルリン・フィルには1987年11月、マーラーの交響曲第6番を振って初登場。以来定期的に指揮台に立って様々な作曲者たちの作品を指揮し、その余りあるほどの力量で多くの楽員の信任を得、2002年9月、楽壇の最高峰とも呼べる同楽団首席指揮者および芸術監督のポストに就任した。現在、ベルリンでの忙しい演奏会スケジュールをこなすと同時に、両者は広く公演旅行を行ない、その数々の録音と先駆的な教育プロジェクトで多くの賞を受賞している。 また、ベルリン・フィルが主役となり、オーケストラ・コンサートのほか、オペラ上演時にはオーケストラ・ピットに入るザルツブルク・イースター音楽祭では芸術監督を務め、多大な成果を収めつつある。2007年、サイモン・ラトルとベルリン・フィルは、芸術的な楽団としては初めての名誉を授かり、ユニセフ親善大使に任命された。