十九世纪时我国人尚多不明了天主教的真相，直以为她是个洋教，便兴起了仇教的运动，上海的代理主教耶稣会谷振声会士，召集全体司铎会议，许愿于佘山圣母，倘能化险为夷，转危为安，将要在佘山上建设一座美丽的圣母大堂，以谢洪恩。这个提议立刻获得一致通过，谷振声神父一离开会议便直奔到圣母像前，向慈母许下这个誓愿。
7月4日谷神父再次虔诚地跪在佘山六角亭前，祈求天上仁慈的母皇，护佑上海教区，并许愿为她盖一所华丽的大殿。
慈母不能拒绝她爱子们热切的祷声，数日后，按察司亲临教会公署拜访谷会长，说他要保护圣教，因此上海各大小官吏也改弦易辙，仇教浪潮便因此而得平静，在这奇妙的慈母荫庇下的谷会长与众神父，不能不感激圣母童贞玛利亚，并向圣母还愿，这就是佘山圣母大殿的起因。
教友们得了圣母的大恩后，热心捐款协助建筑圣堂，不论贫富。有力出力，万众一心，慷慨捐助。1871年5月24日，圣母进教之佑节日举行了奠基典礼，1873年圣母月的首日，郎主教举行祝圣大礼，参加典礼者不远千里而来，数省的教友都齐集圣堂内，盛况空前。
从那年起每年的五月，教友便纷纷到佘山朝圣，或求恩，或谢恩，朝圣的人数每年增加；有些人为朝圣而找不到住所，竟在船上一住数天，为得参与敬礼圣母的盛典。
佘山山腰，称作中山，中山有一圣堂，建在1894年，后续有增加建筑，如西面有耶稣圣心亭，东面有圣若瑟亭，点缀了中山的美景；到1907年，在十四处苦路的开端建造了耶稣山园祈祷圣像一座。
佘山的圣母亦博施各种神形的恩宠，到山上敬礼她的人与日俱增。由于朝圣教友人数的激增，所以中山上的小圣堂就不足容纳，山顶应该有一所更宏伟和更现代化的圣堂。1925年5月24日在旧圣堂的原址再行新奠基礼，由姚主教亲临主持。新堂的工程异常浩大，由叶肇昌神父设计和建造，经过十年之久才落成；新堂的容量较老堂大一倍余，能容纳三千多人，这实是一座巍峨耸立的伟大建筑物，为建筑师们所称赞。姚主教曾描写佘山圣殿说：在远处平地遥望佘山，宛如一道长而明丽的背景，被高高的钟楼压住。钟楼的顶端屹立着全身的圣母像，双手捧着圣婴耶稣，高举在她的头顶，圣婴耶稣伸开他的双手作十字形，似乎在召唤我们，接纳我们，圣母的足下踏着毒蛇，是因着圣子的功勋，而战胜了魔鬼的象征。
新堂在1935年11月16日举行开幕典礼，由姚主教亲临主持，次日在堂内举行了首次的大礼弥撒。
