在日本的行政体系中，地方治理主要采取地方自治的形式，这些自治体的总称是地方自治体。日本地方行政机构由多种层级构成，包括一都——东京都，一道——北海道，以及二府——大阪府和京都府。除此之外，还有43个县构成了日本的地方行政区域。
这些地方的行政管理机构被称作厅，其最高行政长官是知事。每个都、道、府、县下面，进一步细分为多个市、町、村。在市一级，其办事机构称为役所，由市长主持工作；而在町和村，其办事机构则被称为役场（公所），相应的行政首长是町长和村长。这样的行政结构确保了日本地方治理的高效性和多样性。
在日本的中央行政机构中，官房（相当于我国的办公厅）和局起着骨干作用。日本行政组织的设置一向遵循“加一减一”的原则，因此，多年来，尽管日本经济规模和政治影响不断扩大，但行政机构并未增加。现在各省厅的官房和局总数为128个（警察厅官房和局的设置是根据警察法另行确定的，加上这一部分，总共134个），到2001年时局级单位将削减到96个，各省厅的局级单位最多不得超过10个。