山东地区的历史沿革、行政归属，夏殷时代不可详考，但当时是方国或部落林立，且有大部分被夏、商王朝控制，归夏、商统治。西周至春秋时期，该地仍是方国林立，除齐、鲁两大国外，主要的还有曹、滕、薛、郯、莒、纪、莱、谭等，还有宋、卫的一部分。战国时期，山东地区被齐、鲁两国控制。战国末年，除南部和西北部一部分分属楚、赵外，都被
齐国统一。秦统一六国后，山东地区被置为郡县，如齐郡、琅邪、东海、东郡、薛郡等都在山东范围。汉初封王，山东大部分地区封给了齐王刘肥。
汉武帝时削弱封国诸侯王势力，初置十三郡州，山东置青、兖、徐三州，下置郡、国、县。之后数朝
行政区划有所变动，但基本变化不大。唐代将全国分为十道，山东地区分属河南道和河北道；
北宋改道为路，全国分为二十四路，山东分属京东东路和京东西路。金大定八年(1168年)置山东东、西路统军司，治
益都(今山东青州市)，统辖山东地区。至此，“山东”一名始正式成为一个行政区之名称。元代置山东东西道肃政廉访司及山东东西道宣尉司，直隶中书省，称为“腹里”。明洪武元年(1368年)，置山东行中书省，治青州，后移治济南，又改置山东承宣布政使司。至清代才将山东政区正式定名为山东省。此后沿用不变。