在费城建立一个永久存在的管弦乐团的倡议产生于19世纪的最后阶段，歌剧指挥家古斯塔夫·欣里希斯、合唱指挥家亨利·戈登·桑德尔和作曲家威廉·吉尔克里斯特首先提出了这个想法。于是，在1900年的春天，两场名为“菲律宾音乐会”的交响乐音乐会便为后来的费 城管弦乐团的发端提供了线索，这两场音乐会之所以得名是因为主办者试图以此来为那些在与西班牙的战争中阵亡或受伤的士兵募集捐款。音乐会的指挥是弗里茨·谢尔，在以前与芝加哥和旧金山等地的音乐家合作时已经积累了丰富的美国乐团的领导经验。在筹集了足够的资金之后，新成立的费城管弦乐团于这一年的11月16日举行了首场音乐会，此时的乐团共由85名乐师组成。建立初期的乐团不仅有了充裕的经济来源，而且也大大得益于来自一些妇女组织的进一步援助。谢尔的早期工作开展得十分顺利，召募了许多受教于欧洲的优秀演奏家，使乐团的合奏水平在较短的时间里就有了突飞猛进的变化。谢尔死于1907年，之后，德国人卡尔·波利希成为乐团新的指挥。波利希是李斯特的朋友和学生，在马勒执掌维也纳国家歌剧院时曾经担任过这位大师的助手。
波利希于1912年重返欧洲。此时对于莱奥波尔德·斯托科夫斯基的任命是费城管弦乐团获得至高无上地位的一个最重要的因素。从这时起到1941年退休为止，斯托科夫斯基领导费城管弦乐团取得了对于乐团和本人都是十分辉煌的国际声誉。这是一位有着极其动人的魅力的指挥家，也是有史以来享有最高威望的指挥大师之一。斯托科夫斯基使费城管弦乐团的演奏技术和合奏音响都发生了彻底的变化，著名的“费城之声”就是在这个时期通过他的一系列努力而形成的，这是一种极为美妙的声音，以宽广的动态和适当的比例为鲜明特征。在斯托科夫斯基时代有许多指挥家与费城管弦乐团保持着良好的关系，几乎众口一辞地对于乐团出色的演奏能力给予极高的评价。克伦佩勒在晚年曾经在回忆中称这个乐团“是一个真正的巨人—确实无与伦比”；古森斯在1929年指挥了这个乐团7场音乐会后认为它豪华的声音中有着令人不可思议的多姿多彩和辉煌灿烂，写道：“这种音响的华丽由一群有着超凡绝技的演奏者所造就，但是这一切都是作为领袖的斯托科夫斯基的贡献，成功地将这些难以融合的明星化成了一个平衡的整体。”乐团卓越的特性甚至在斯托科夫斯基之后的奥曼迪时代仍然长久地保持，1941年，托斯卡尼尼与这个乐团合作录制了一组唱片，对于乐团的表现大感惊奇和愉悦，乐团敏捷而灵活的反应、
绚丽的音响色彩和独一无二的响亮度给了许多启示。在第一次排练中，完整地指挥乐团演奏了全部乐曲，而没有做任何停顿；最后，颔首微笑，告诉演奏员们已经感到没有什么可以建议的内容，随后幽默地走出了排练厅。斯托科夫斯基是当代音乐的一个不遗余力的支持者，也是一个对于一切新鲜事物有着浓厚兴趣的探索者，任职期间，费城管弦乐团介绍了许多重要的当代作品，在美国首演了布索尼、马勒、斯克里亚宾、斯特拉文斯基、勋伯格和瓦雷兹等人的许多作品，同时也对于大量知名的或无名的美国作曲家抱有同样的好感。有人做过这样一个统计，到1971年为止，指挥过7000余场音乐会，其中首演了2000部新作品。1916年，指挥费城管弦乐团所做的马勒第八交响曲的美国首演引起了国际上的广泛关注，超过1000人的乐团和合唱团在连续9场音乐会上出色地演绎了这部交响曲。斯托科夫斯基曾经别出心裁地改革了乐队座位的排列方式，还是最早对于广播和录音技术表示出兴致的指挥家，1933年，在音响工程师的帮助下，尝试对于乐团进行了立体声技术的录音。音乐会通过广播电台的参与而大量传播，数量众多的唱片也广泛增强了乐团的知名度。在任内，乐团的人数达到104人，1936年率领费城管弦乐团首次在美国各地巡回演出，在27个城市举行了36场轰动一时的音乐会。
斯托科夫斯基在费城管弦乐团的音乐会上始终表现出表演家的风度。一个有意思的例子发生在乐团夏季音乐会的开场演出中，在最后一支乐曲终了后，走进了观众席，这时全场观众用掌声要求他返场，于是冲向指挥台，向乐团示意，乐团以极其优雅的声音奏出《蓝色的多瑙河》圆舞曲。迷惑不解的观众并不知道这突如其来的一幕实际上是精心设计的结果，乐团在演出前的几个星期就已经仔细地准备了这首乐曲。在初到费城时，斯托科夫斯基曾经与出席星期五下午场音乐会的习惯于迟到早退的观众进行了斗争，有一次在指挥的音乐会上，开场曲目是勒克的一首作品，它要求演奏者在音乐过程中陆续登台，而结束曲目是海顿的《告别交响曲》，演奏者最终在乐曲中纷纷离去。
在经济萧条时期，乐团的理事会要求斯托科夫斯基压缩他的活动范围和内容，这给演出那类需要乐团进行反复排练的新作品和陌生作品造成了很大的困难。1934年，与理事会的矛盾导致了他的辞职，但是还是接受了继续指导乐团的请求，并且在乐团的艺术问题上享有最终的决定权。19
36年，斯托科夫斯基挑选尤金·奥曼迪作为助理，1938年，奥曼迪开始共同分享首席指挥的职位。虽然斯托科夫斯基在费城管弦乐团首席指挥的位置上一直呆到1941年，但是此后明显减少了与乐团的合作，每个演出季只指挥数量很少的音乐会。在费城管弦团的最后一次登台是在1941年，在指挥了巴赫的《马大受难曲》之后，没有理会观众的欢呼，径直走下了舞台。在此后的19年中，没有与这个乐团发生过任何合作。在与斯托科夫斯基共同担任费城管弦乐团指挥的两年以后，奥曼迪于1938年成为乐团的首席指挥，此后直到1979年作为“桂冠指挥”而隐退，在这个位置上工作了40余年，这几乎成为20世纪音乐的一项奇迹。就职之初，奥曼迪并没有对乐团进行大刀阔斧的革命，但是逐渐地，在演出中引入了更加艳丽的管弦乐音色，使乐团更适合于表现那些需要丰富管弦乐色彩变化和高度技巧的晚期浪漫主义及20世纪初期的乐曲。作为一位以演奏小提琴而开始音乐生涯的指挥家，奥曼迪显然更懂得超凡的弦乐声部对于一个交响乐团的特殊意义，所营造出的费城管弦乐团的弦乐色彩有一种明亮、清澈的光影变化，其细腻的颗粒和宽广的力度在当今世界一流乐团中是绝无仅有的。奥曼迪使发动于斯托科夫斯基的“费城之声”变成了名符其实的“奥曼迪之声”。尽管奥曼迪曾经声称这种声音属于自己，而不是乐团；但是公平地说，当奥曼迪指挥其他乐团时，几乎无法再现这种音响，而当费城管弦乐团与其他指挥合作时，这种音响也变得不那么鲜明。所以，无论“费城之声”也好，“奥曼迪之声”也好，它应当是费城管弦乐团与奥曼迪结合的产物，两个因素缺一不可。
费城管弦乐团的这种特点最终使奥曼迪扩大了在新音乐方面的选择，与乐团曾经首演过拉赫玛尼诺夫的《交响舞曲》、巴托克的第三钢琴协奏曲和布里顿的《嬉游曲》以及巴伯、克雷斯顿等人的许多作品，肖斯塔科维奇的一些交响曲也在美国首演。
1949年，奥曼迪率领费城管弦乐团首度出访欧洲。自从纽约的萨拉托加音乐节于1966年创立之后，便成为这个在每年8月举行的大型音乐活动上必不可少的客人。另外，与世界一流的音乐家进行经常性的合作这项自从乐团成立那天就形成的传统也在奥曼迪时期得以发扬光大。
当奥曼迪从费城管弦乐团首席指挥的位置上光荣隐退时，人们对于亲手挑选的接班人里卡尔多·穆蒂或多或少表现出一些怀疑的神色，到底能在多大程度上继承这个乐团的传统，并且使之不断发展，这的确令人颇为关注。1941年生于意大利那不勒斯的穆蒂第一次打动奥曼迪是在1970年，在费城管弦乐团的那次欧洲之旅中，穆蒂的出色表现几乎令奥曼迪马上就意识到，这将是接替他的最理想的人选。从那时开始，穆蒂在与这个乐团的大量合作中树立了自己的权威，也进一步得到奥曼迪的信任。当奥曼迪最终离开时，穆蒂已经为自己的顺利接班铺平了道路。
穆蒂是一位充满激情和戏剧感的指挥，当接手费城管弦乐团时，在他面前的斯托科夫斯基和奥曼迪几乎是两座不可能超越的丰碑。然而，对于这些前辈，并没有太多的诚惶诚恐，在对于音乐的理解上坚决地把持着自我的方式。尤其不同意斯托科夫斯基习以为常的对于乐谱擅加改动的做法，说：“我无法赞同那种对你桌前的乐谱随意修改的方式。如果你不喜欢这个乐谱，就别去演奏它。这就像在博物馆里面对着那些名画一样，‘哦，多漂亮啊，可是在这儿，让我在这个角上加点儿东西吧。’这种做法对于绘画是不可想象的，可是在音乐界却是司空见惯。”
为了使乐团的演奏适应更为广泛的曲目，穆蒂有意识地让费城管弦乐团圆润的弦乐稍显棱角，也更为精确，在音乐的进行中，乐团表现出精练而流畅的特点。
1993年，沃尔夫冈·萨瓦利施出任费城管弦乐团的首席指挥。以一位年过七旬的老年人接替风华正茂的年轻人，这在近年来的国际乐坛实属少见。但是萨瓦利施显然已经向世人证明了价值，正如乐团的演奏员所评价的那样：“有些指挥是以音乐来表现自己，而萨瓦利施显然是以音乐来表现音乐。”萨瓦利施认为，所谓的“费城之声”就是圆润的弦乐与木管和铜管的和谐完美的结合所产生的极其独特的效果，而这也正是这个乐团最令人陶醉的地方。因此，他从来没有、也绝对不会改变这种特点。
