隨著台灣民主化的呼聲日益高漲，政府終於在民國76年(1987)宣布解除戒嚴，民國80年(1991)明令結束動員戡亂時期，行政管轄問題當然要隨之討論調整。民國81年(1992)11月7日，金馬地區終止戰地政務，金門、連江2縣重歸福建省政府管轄，民國83年(1994年)福建省政府由台灣省臺北縣新店市遷回福建省金門縣辦公，但是仍為虛級省政府。由於自中華民國中央政府遷台以來，台灣省政府的管轄範圍除金馬地區及直轄市外，幾與行政院的管轄範圍重疊，但為了維持中華民國的地方行政體制的完整性，一直以來都沒有切實調整行政組織來解決潛在的行政矛盾，甚至在民國83年(1994)還舉行第一屆的省長民選，直至民國86年(1997)李登輝總統終在政治考量下才作出了「精省」的決議。精省的法理依據為第三屆國民大會第二次會議所三讀所通過的〈中華民國憲法增修條文〉，其中第九條規定：「第十屆台灣省議會議員及第一屆台灣省省長之任期至中華民國87年12月20日止，……台灣省政府之功能、業務及組織之調整，得以法律為特別之規定。」行政院在規劃上，分三階段進行精省作業：第一階段為規劃組織調整及過渡時期；第二階段是調整組織期，辦理各項業務轉移，以及重新修法，調整部會及所屬機構；第三階段則要求完全回歸〈地方制度法〉。民國87年(1998)12月21日，政府採取省虛級化措施，民選省長改為官派的省主席，民國89年(2000)7月省政府各單位轉型為行政院各部會署的中部辦公室，等於將省級單位原轄的機關歸併入中央政府，以精簡行政作業。所以現行制度下實質上已無省的存在，僅保有其象徵。另外，自1998年起行政院相繼在南部、中部以及東部分別設立3個區域聯合服務中心，均衡服務各地區及輔助行政院推行政事。至於精省後近年最大的變化應是：台北縣自2007年10月1日起為準直轄市，即將升格為直轄市。