南山区，其历史可追溯至古代的“南岗”，因开采南岗的煤炭而得名。随后，因采矿业发展，改称为南山矿，从而正式称为南山区。起初，南山区属于汤原县，1939年归属鹤立县兴山街管辖。抗日战争胜利后，1946年南山区成立，归属兴山市管理。然而，1948年南山区被撤销，1949年归属鹤岗市。1954年，设立南山街道办事处，1958年改为南山经济区。1960年，正式设立南山区，经过多次行政区划调整，如1966年改为东风区，1980年东风区与跃进区合并为南山区。
1992年，南山区位于市区南部，与东方红乡接壤，与兴安区、红旗乡相邻，西部与工农区分界，北部与向阳区为邻。地形上，南山区地势西高东低，丘陵起伏，以五指山、鹿林山、老山头和鹤立河等自然景观闻名。城区内有鹤岗铁路和哈萝公路穿越。总面积达25平方公里，下辖铁东、铁西等6个街道办事处。1992年，全区人口共计13.5万人，非农业人口占多数，少数民族包括回族、满族、朝鲜族等。区政府设在南山路中段。
南山区的多元民族分布丰富，包括汉族、蒙古族、回族、藏族等56个民族，如2000年人口普查所显示，各民族和谐共处，共同构建了南山区的多元文化风貌。
南山区于1990年1月经国务院批准成立，地处深圳经济特区西部，东临深圳湾，西濒珠江口，北靠羊台山，南至内伶仃岛和大铲岛，与香港元朗隔海相望。面积约182平方公里，下辖8个街道办事处和98个社区居委会。全区常住人口91.89万人，其中户籍人口30.28万人。2005年，南山区本地生产总值突破1000亿元，地方财政一般预算收入达26.23亿元，城区居民人均可支配收入达到21500元。