1929年10月11日生于在湖南省宁乡县三仙坳乡一个普通农民家庭,自幼勤奋好学,刻苦钻研,力求上进。1952年6月参加中国共产党;
1952年7月在武汉大学土木系毕业后留校任教;
1953年7月~1955年7月因全国院系调整,离开武汉大学土木系,任中南土木建筑学院结构力学系助教兼桥隧系教学秘书;
1955年7月~1956年10月在北京俄语学院学习;
1956年10月~1960年5月在列宁格勒建筑工程学院从事钢筋混凝土结构研究,获副博士学位;
1960年5月 ~1978年任湖南大学土木系讲师、教研室主任、党支部书记,系党总支委员;
1978年,晋升湖南大学副教授;
1981年3月~1982年2月,出任湖南大学副校长;
1983年,湖南大学教授、校学术委员会主任、校学位评定委员会主任;
1982年6月~1987年8月任湖南大学校长。
2002年,湖南省谭嗣同研究会会长,教育部高等学校文化素质教育指导委员会委员,湖南大学土木工程学科博士后流动站专家组召集人,湖南城市学院名誉院长。
2006年,荣获日本千叶大学历史上第一个荣誉博士学位。
2008年7月9日22时20分,德高望重、深受师生爱戴的成文山教授因病经多方抢救无效,在长沙不幸与世长辞,享年80岁。