中国在夏商周时期，从原始社会的氏族部落阶段过渡到封建社会，早期并无明确的行政区划概念。夏朝建立后，行政规划开始出现，其中“九州”是流传较广的说法，源自大禹时代的中原地区划分，但并非实际行政区划，而是学者对周朝领土的地理区域划分。
商周时期实行分封制，诸侯在封国内独立为君，没有统一的行政区划。春秋战国时，随着周室衰微，一些诸侯国发展郡县制，秦朝统一后，秦始皇废除分封，推行郡县制，最初设36郡，后来陆续增置，但具体郡数及范围存在争议。如南海、桂林、象郡等郡是后来才设立的。
汉初，刘邦吸取秦朝教训，实行郡国并存制，诸侯国实力强大，部分领地甚至超过郡。汉武帝时期，疆域扩大，设立刺史制度，州的概念开始出现，但非正式行政区划。到西汉末，有郡国103个，郡国之间的大小和权力不一，形成了郡大国小的局面。
东汉沿袭西汉，但州由监察官变为拥有实权的地方行政单位，最终导致州郡县三级制的形成。三国时期，州的权力进一步扩大，成为一级行政区域，为三国割据和后来的国家统一奠定了基础。西晋时，继续州郡县三级制，但诸侯王权力过大，导致“八王之乱”，西晋灭亡后，东晋南北朝时期州郡越分越多，行政混乱。
隋朝时期，隋文帝废除郡制，实行州县二级制，但隋炀帝又恢复郡制，造成了地方官僚体系庞大。隋朝的行政区划变革，反映了从秦汉到隋唐之间行政区划制度的演变过程，尽管存在争议和调整，但都体现了中央对地方管理的尝试和改进。
中国行政区划，自古至今历代多有变更。目前中国的行政区划，主要以省（自治区、直辖市）、市（自治州、区）、县（自治县、街道）等编制单位来划分。