隋初為州、郡、縣三級制，文帝開皇三年(583)罷天下諸郡，以州直接統縣。煬帝大業三年(607)改州為郡。而魏晉南北朝時代的州郡幕僚，有「州吏」與「軍府」兩個系統，州吏為漢代以來地方幕僚制度的延續，軍府幕僚則為魏晉以來地方官兼領軍事的結果。兩者職權重複，有疊床架屋之弊。隋文帝開皇十五年(595)下令「罷州縣鄉官」，將州吏系統廢除，僅保留軍府系統，由中央吏部除授。將繁雜的地方幕僚制度加以簡化。地方基層鄉里制度的變化方面，北魏孝文帝太和十年(486)，行黨、里、鄰「三長制」，五家為鄰，置一鄰長；五鄰為里，置一里長，五里為黨，置一黨長。隋開皇三年(583)加以改革，縣之下設鄉、里。500家為一鄉，鄉有鄉正；100家為一里，里有里正。