公元前221年，秦始皇在岭南设立了桂林郡、南海郡、象郡，其中凭祥隶属于象郡。到了元鼎六年（前111年），汉平南越后，凭祥成为了郁林郡的雍鸡县地。在三国至西晋时期，凭祥归属郁林郡临浦县，东晋至南北朝时期则属于郁林郡晋城县。隋朝时期，凭祥隶属于宣化县。唐朝时，设置了羁縻石西州，州治设在上石镇，今称镇。到了宋朝，永平寨管辖下，凭祥设置了土司制度的凭祥峒，其名由此而来，最初的治所位于驮里三化，即今三联村境内。
元朝时期，凭祥隶属于思明路。明朝洪武十八年（1385年），凭祥再次改为镇，并隶属于太平府。永乐二年（1404年），凭祥镇升格为凭祥土县，改隶思明府。成化十八年（1432年），因其地理位置重要，镇夷关（今友谊关）被提升为土州，直接隶属于广西布政司。清朝初期沿袭明朝制度，顺治十一年（1654年），土州改隶太平府。1902年，土州降级为弹压，归明江厅管辖。直至1910年，土州改为流置凭祥厅，上石区域兼管下石土州。民国二年（1912年），凭祥改为县级，随后行政区划历经多次调整，直至1961年，宁明县析出凭祥市，设为县级行政区。
新中国成立后，1951年，宁明、明江、凭祥合并为镇南县，1952年再次合并为宁明县。1955年，凭祥成为县级镇，与宁明县分开管理。1956年，凭祥升格为县级市，1958年与宁明、龙津合并为睦南县，1959年再次拆分。1961年至1984年间，凭祥市经历了多次行政区划调整，辖有4个镇和33个村委会，5个居委会。1997年，凭祥市总面积650平方千米，人口9.1万，下辖5个镇，市府驻地为凭祥镇。
其中，凭祥镇、友谊镇、上石镇、白云镇和夏石镇各具特色，分别位于市境西部、西部、中部、北部和东部，拥有独特的地理位置和丰富的历史文化。全市居民包括多个民族，展示了多元的文化交融。
凭祥市位于中国广西南端的边境线上，是一个口岸城市，隶属于地级崇左市，与越南的谅山接壤。凭祥市地处祖国南部，素有"祖国南大门"之称，是中国最靠近东盟国家的国际化城市。下辖4个镇，全市土地面积650平方公里，人口10多万人。距广西首府南宁和越南首都河内均为160公里（高速公路），西南两面与越南凉山省交界，边境线长97公里。