谢非出生于贫苦农民家庭。他在青少年时期就接受进步思想，追求革命真理。
1947年11月在陆丰参加革命工作。1949年7月加入中国共产党。曾任广东省汕尾市陆丰县河田镇民运组组长，镇政府指导员，区委委员，土改工作队队长，区委书记，县委宣传部副部长、部长。他深入群众，积极宣传党的路线和方针政策，不辞辛苦，勤奋工作，在艰难的岁月里和对敌斗争中锻炼成为一名坚强的、勇敢的革命战士和党的基层工作者。
1955年6月以后，谢非同志历任广东省陆丰县委常委兼宣传部部长、副县长、县委书记（其间：1959年至1960年在中共广东省委党校中级班学习）。
1960年8月，谢非先后担任广东《上游》杂志社编辑，中南局政策研究室研究员，广东省革委会政工组政工办公室副主任，省科教政治部副主任，省文教办公室副主任。在“文化大革命”期间，他坚持原则，主持公道。粉碎“四人帮”以后，谢非同志调任《红旗》杂志社三人领导小组成员。他以较高的理论修养，废寝忘食地工作，为思想理论上的拨乱反正作出了应有的贡献。
1973年——1979年，广东省科教政治部副主任、省文教办公室副主任，《红旗》杂志社三人领导小组成员。
1979年11月后，谢非同志任中共广东省委副秘书长兼办公厅主任。
1983年后，任广东省委书记（时省委设第一书记、书记）兼省委秘书长、省委党校校长（其间：1983年至1984年在中共中央党校进修部政治经济学专业学习）、省委落实统战政策领导小组组长，为落实党的干部政策和统战、侨务政策做了大量工作。1986年11月后，任广东省委副书记（时省委不再设第一书记，设书记、副书记）兼广州市委书记，广州军分区党委第一书记。他带头调查研究，从实际出发，推行各项改革，促进了广州经济和社会的发展。
1988年6月后——广东省委副书记。
1991年——1992年，中共广东省委书记。
1992年10月——当选为第十四届中共中央政治局委员。
1993年2月——广东省军区党委第一书记。
1993年5月——1998年3月，中共广东省委书记。
1997年9月——当选为第十五届中共中央政治局委员。
1998年3月——在第九届全国人民代表大会上当选为全国人民代表大会常务委员会副委员长。他为坚持和完善人民代表大会制度，健全社会主义法制，建设社会主义法治国家作出了不懈的努力；为澳门顺利回归、推进祖国统一大业倾注了自己的全部心血。
1998年5月——全国人大澳门特别行政区筹委会副主任委员。
是中共十二届中央候补委员，十三、十四、十五届中央委员。
因病医治无效，于1999年10月27日在广州逝世。
