大约在1850年，清道光年间，河南闹穷荒，一名叫马思发的洒财阵县农民逃荒来到南京，为图生计，
在中华门外的花神庙摆了个饭摊子，经营价廉的低档菜菜食，维持生活。营业的对象除了进城卖柴的农民外，还有驻扎在花神庙一带的太平地军，饭摊子无须招牌，由于马思发是回民，南京人惯称回民为“回回”，大家也就称之为“马回回饭摊”，此为现今马祥兴的前身。
马思发死后，其子马盛祥继掌，那时南门外的市面逐步向雨花台发展，马盛祥也就将饭摊迁至雨花台右边的回民集居地“回回营”，正式职名??“马祥兴”。“祥”字是取之马盛祥的名字，“兴”字即为兴旺之意。当时民间对马祥兴一类的“荒饭摊”有这样一段顺口溜：“要吃饭里面坐，小毛驴拴对过，大米饭香又白，牛肉烧萝卜，要吃吃，牛肉炒小炒。”概括了当时“马祥兴”的营业方式。根据上述，“马祥兴”始于上世纪中叶，是无疑的。
那么，为何又有“马祥兴”始于明朝之说呢？辛亥革命以后，马盛祥再次把饭铺搬到中华门外米行大街（即今雨花台），盖了两间矮厢房和一间灶披间，开始初具规模。经营以牛八样（牛肚、牛心、牛舌、牛筋、熏牛肉、牛肉汤等）为主的便菜，饭菜廉物美，薄利多销，渐渐受到食客赞誉。“马祥兴”面对北山门，面临报恩寺。马盛祥为了招来顾客，装潢店面，请人写了一副对联，上联为“百壶美酒人三醉”，下联是“一塔秋灯迎六朝”，还悬了一幅古塔图。相传报恩寺曾为明永乐帝之所,而对联又含蓄着古雅风流的韵味，因此外界隐传“马祥兴”为明代老店。恰巧店里有一口古旧的大铁锅煮牛肉，顾客们均感新奇且味香浓郁，店主也就顺水推舟，说是明朝遗传的古物。
旧社会“马祥兴”的生意，有一个两起落过程。1925年，由于生意益发兴旺，“马祥兴”开始经营筵席
，马盛祥已去世，其次子马德铭承祖业亲自掌勺，人手不够，就招收本门学徒，已仙逝的当代名厨马定松就是此时进店的，由于注重菜肴质量，讲究用料鲜活，强调原汁原味，加上隐传明代老店的典雅名声，该店对一些高级知识分子发生了吸引力，大学生，大学教授逐渐成为“马祥兴”的座上客，除日常供应的品种外，该店还适应他们的口味，用虾仁、鸡肝等鲜嫩原料配制豆腐，得到东南大学胡翔东、胡小石教授的赞许。因此“马祥兴”的豆腐制法在大学生传开，教授、学生慕名而至，此菜遂命为“胡Sir(先生)豆腐”，成为“马祥兴”早期名菜。
1927年，南京成为蒋介石国民政府的首都，新贵云集，又是一番局面。胡翔东教授约谭廷（门岂） “马祥兴”小试，店里认真对待，谭平时山珍海味，偶嘱清真菜，汪精卫、孙科、诸民谊等相随而至。马德铭和马定松等师傅研究，极力在菜式上翻新，马克思祥兴名躁金陵的四大名菜就是以此为背景试制成功的。“美人肝‘、”松鼠鱼、“蛋烧卖”、“风尾虾”四大名菜的独特风味，使马祥兴名声大震，报纸上也有了介绍，并随着传入国民党政府的五院八部。汪精卫、王正廷、王世杰等多次以外交部名义到“马祥兴”宴请外宾。南京各国驻华使节设宴也常来“马祥兴”，当然感兴趣的不仅是其中几外名菜，外国人更着重的是该店中国明代老字号店牌，每日店外车水马龙，店内生意兴隆，马德铭还盖了餐厅，增辟了雅座小间。
1937年，日寇侵占南京，“马祥兴”毁于战火，片瓦无存。1939年在废墟上重建。1945年，日本投降后，国民党的大小权贵还都南京。“马祥兴”为适应需要，翻盖了楼房，加辟了8个房间，增添了台面，职工近50人，又进入了一个新的高潮。军政要员李宗仁、白崇禧、孙科等都有大主顾，张治中、邵力子、冯玉祥 、程潜常光顾该店，于右任先生亲书“马祥兴”店甸。国共和谈期间，周恩来也曾应张治中之邀，到“马祥兴”品尝佳肴。
解放前夕，因物价飞涨又遭土匪抢劫。几十年来两起两落的“马祥兴”濒临倒闭。解放后，党和政府拨专款使其重建。1958年2月“马祥兴”又从中华门外雨花路迁至鼓楼现址，扩大了经营规模，列为南京八大菜馆之一。
十年浩劫中老字号被取消，传统特色破坏殆尽，四大名菜亦被大众饭菜所代替。“文革”后，恢复了“马祥兴”老字号。近年来，店堂多次改造，门面装潢一新，回文“马祥兴”又重新书写上墙，民革中央主席屈武先生订笔书写的“清真马祥兴菜馆”七个行楷大字，苍劲有力，悬于正门之上，具有独特风味的传统名菜又得到恢复和发展。1982年6月，日本太阳杂志专门组织了一个食品考查团来该店考查，摄制了录像，拍了肴馔彩照。向日本及东南亚一带介绍该店的古老历史和精美佳肴。每天大批慕名而来的国内外食客络绎不绝。
