在洋务运动中，清政府于1865年购买了外国人开设在上海虹口地区的旗记铁厂，并将原有两洋炮局并入，组成新厂，定名为“江南机器制造总局”，制造船炮军火和各种机器。1867年，江南机器制造总局迁至城南高昌庙现址，并建立了翻译馆。翻译馆不仅造就了徐寿、华蘅芳、徐建寅等中国近代第一流的工程专家，而且成为全面介绍、学习世界先进科学技术的开拓者，对中国早期工业产生了深刻影响。这时，江南造船厂进入了第一个兴旺发展期：诞生了中国第一台车床，自行建造了中国第一艘蒸汽推进的军舰“惠吉”号和第一艘铁甲军舰“金瓯”号，研制了中国第一支步枪、第一门钢炮、第一磅无烟火药，炼出了中国第一炉钢……到19世纪90年代，江南机器制造总局已发展成为中国乃至东亚技术最先进、设备最齐全的机器工厂。
1905年3月，在荒废了近30年的船坞“穷极当变之时”，造船业务正式从江南机器制造总局划分出来，史称“局坞分家”。江南制造局成为专门制造军火的兵工厂，江南船坞专营造船。江南船坞“仿照商坞办法，扫除官场旧习”，采取商务化经营，生产业务大有起色，仅1905年至1911年的6年间就造船136艘，总排水量达到21000吨，而且所造舰船“船式美观，工程坚实”。 1912年，北洋政府把江南船坞划归海军部直接管辖，改称江南造船所。1938年1月，江南造船所被日军侵占，改名“三菱重工业株式会社江南造船所”。由此，江南厂陷入了苦难的深渊，一直到1945年日本投降后的国民党统治时期，始终未能恢复以往的生气。连年战乱的践踏，尤其是1949年5月22日国民党军队撤退前的大破坏，使江南厂满目疮痍，破败不堪。
1949年5月28日，陈毅同志签署上海市军管会第一号命令，正式接管江南造船所，从此江南厂回到新中国人民的手中，开始了辉煌的新生。自强不息的江南人，冲破重重困难，以自身的实力与自信，以迎难而上的大无畏气概，迅速恢复生产，持续创造了一个又一个“中国第一”：建造了中国第一艘潜 艇、第一艘护卫舰、第一台万吨水压机、第一艘自行研制的国产万吨轮“东风”号……。十年“文化大革命”期间，江南造船厂是重灾区，大批干部群众受到“四人帮”的残酷迫害。尽管如此，江南人仍以国防建设和造船事业为重，排除干扰，生产一直没有中断，建造了几十艘多种类型的船舶，又开创了我国造船史上的许多“第一”。同时，江南造船厂还成功地建造了我国第一代航天测量船“远望1”、“远望2”号和首艘大型远洋调查船“向洋红10”号等，圆满地完成了周总理亲自圈定的“718”工程的“三型五船”的建造和部分设计任务。
改革开放以来，江南造船厂进入了快速发展的新时期。她在高质量地完成国家下达的专项军工任务的同时，率先跨出国门与世界接轨，始终在中国船舶出口中发挥主力军作用。她建造的“江南巴拿马”型系列散货船，是中国第一个在国际租船市场上挂牌交易的国际著名品牌。她建造了中国第一艘液化气（LPG）运输船，并不断推陈出新，在开发与研制水平方面雄居世界的前列。她开发建造的汽车滚装船、快速集装箱船、大型自卸船、跨海火车渡船等一大批高技术船舶，达到了国际先进水平，成为中国造船业的标志性产品。 上世纪90年代以来，江南造船厂改革步伐明显加快。1994年，她在全行业率先成为全国100家大中型企业首批建立现代企业制度试点单位之一。1997年6月3日，“江南重工”A股在上海证监交易所上市。2000年8月28日，毗邻的百年老船厂求新造船厂整体并入江南造船厂。2001年8月28日，江南造船厂债转股工作圆满完成，新的公司法人治理结构正式诞生。随着改革不断深入，江南造船厂的综合竞争力大大增强，成为中国船舶工业的排头兵。毛泽东、周恩来、刘少奇、朱德、邓小平等老一辈领导同志都曾亲临该厂视察；江泽民、胡锦涛等领导同志也多次视察工厂及产品，或对工厂的发展作出重要批示。
