衢山镇的历史可以追溯至5300年前，当时已有人类在此定居。早在1078年唐朝时期，设立了蓬莱乡朐山村，随后宋代属昌国县蓬莱乡，又称朐山村。清朝时期，衢山的名字开始出现，寓意"通衢大道"。1880年，朐山庄建立。1910年和1919年，衢山乡和朐山区相继设立，分别管辖朐山乡和朐山区内的多个乡。民国年间，随着行政区划的变动，小衢、黄泽、鼠浪胡等地陆续建乡。直至1946年，岛斗乡成立，属于定海县，解放后成为衢山区的一部分。
1950年至1964年间，衢山区经历了多次乡、社、区的调整，从最初的19个乡到11个乡，再到岛斗、太平、桂花、乍门、万良五大公社。1962年，大衢县成立，管理着9个大公社。1982年，岛斗镇和8个大公社成立，至1988年，衢山区又增设了四个乡。1992年，区划调整，撤区扩镇并乡，衢山镇最终设立，下辖1个社区和12个渔农村新型社区，以及37个行政村，涵盖了多个地名。
2005年，衢山镇的行政区划进一步优化，撤销了原有的两个居委会，合并为岛斗社区居委会，其区域面积为2.1平方千米，包括岛斗建成区。2006年，樟木山村和西丰村的行政区划也进行了调整，合并为新的樟木山村，村委设在原址。
衢山镇Qushan Town 位于浙江省舟山群岛中北部，处长江、钱塘江入海口外缘，背靠沪、杭、甬经济区。北纬30°7′-30°38′，东经121°31′-123°17′。