周代实行分封制，代替了商代的方国联盟，国家治理进入新阶段，形成了诸侯国、采邑两级管理体制。“西周王室封建诸侯有畿内、畿外之别，受封于王畿内的卿大夫食采，‘采邑就是王畿之内的诸侯国’，受封于王畿外者就国，‘以藩屏周’。  在诸侯国内，国君同样也可以把土地分赐给自己的子弟、属臣，作为采邑。但这种“采邑”未经周天子封赐，不能成为诸侯国。封国和采邑都是周代分封制的重要组成部分，是周王朝实现对地方统治管理的有效措施和主要方法。

秦朝在地方实行郡、县两级制的行政体制。也有观点认为秦朝地方实行郡、县、乡三级管理体制。郡最高长官为守，下置尉（辅佐郡守并掌军事）、监御史（掌监察）。县的最高长官称令（万户以上的县）或长（不满万户的县），下设尉（掌治安）、丞（掌文书、仓储、刑狱）。秦还在少数民族聚居的偏远地区设道，与县同级。郡县制取代分封制，建立了中央垂直管理地方的新的国家政权结构——中央集权的国家行政体系。西汉武帝时期，为了加强对诸郡的监督管理，将全国划分为十三个监察区，称为十三部，各设置刺史一人。东汉时改部为州，改刺史为州牧，全面掌管一州的行政、军事、民事大权，地方行政区划变为州、郡、县三级。中国地方三级行政体制由此奠基。

隋朝为减少行政管理层级，实行州、县（后改州为郡）两级体制。

唐朝太宗时为加强对地方的监察，将全国划为10个监察区，称作道，形成道、州、县三级体制。唐后期，作为临时的差官持有朝廷的旌节管理道，便形成节度使（藩镇）、州、县三级体制。中国地方三级行政体制由此确立。

宋代吸取了唐朝“方镇太重，君弱臣强”导致割据的教训，收军权于中央，地方设置路，路下辖的府、州、军为并列机构。

元朝实行行省制，地方设置行省、路（府）、县。明朝，地方设承宣布政使司，下辖府、县。

明太祖朱元璋废除行中书省，设置三司，即承宣布政使司、提刑按察使司、都指挥使司，共同组成为省级政权机构，分别执掌行政、司法和军事。

清代的地方行政体制大体沿袭明制，地方实行三级管理。总督或巡抚为省级最高长官，属于封疆大吏。总督大于巡抚，但无统属关系，都直接听命于皇帝。总督辖数省，侧重于军事，但有的也只辖一省，如直隶总督。巡抚只辖一省，侧重于民政。府、县长官称知府、知县。在少数民族聚居地区设有厅，其长官为同知或通判。旗兵驻防重要地区，长官称将军，由满人充任。边疆地区的将军，也是辖地最高的军事和行政长官，如伊犁将军、乌里雅苏台将军等。

随着中国古代地方行政管理体制的变化，地方政府的机构和职官变化非常频繁，变化发展的总体趋势是：机构日益庞大，职责上的分工越来越细，以实现分权和制约、听命于君的目的；地方权力越来越集中于中央，实现了国家权力的高度集中。中国古代地方三级行政管理制度，实现了中央对地方的有效管理，是国家治理智慧的制度结晶，对后世产生了深远的影响。时至今日，中国地方上依然实行的是省、县、乡三级行政管理的体制。