中日戰爭結束後，大多數日軍從中國遣送回國。但是仍有少部分日軍留在中國，參與日後的國共內戰。在山西，第二戰區司令長官閻錫山與日本第一軍司令官澄田睞四郎協議，於民國34年9月設立「第二戰區司令長官部合謀社」，協商兩軍合作事宜。閻錫山將並日本第一軍部分官兵編成「特務團」，並由日本軍官協助訓練閻軍（如憲兵出身的三浦三郎訓練閻錫山部隊的憲兵軍官，砲兵大隊長松原太一擔任閻軍砲兵訓練團教官）。民國三十六年（1947）七月，閻錫山將殘留山西的日軍加以統合，編成「暫編獨立第十總隊」，以日人今村方策大佐為總隊長。民國三十七年（1948），共軍華北野戰軍第一兵團在徐向前指揮下進攻山西中部，第十總隊在晉中榆次、太原東山等地與共軍交戰，結果被擊斃五百五十餘人，被俘七百餘人，山西殘留日軍全軍覆沒。（參見：張宏波〈日本軍?山西殘留?見?戰後初期中日關係?形成〉，收於《一橋論叢》第134卷第2號，2005年8月號。）民國三十八年（1949），蔣中正派遣曹士澂為中華民國駐日代表團武官，指示曹士澂與前日本將領岡村寧次商談，派遣軍事顧問團至台灣協助國民政府訓練軍隊。民國39年（1950），以舊日本軍人組成的顧問團來到台灣，前日軍少將富田直亮（化名白鴻亮）為團長，因此顧問團又被稱為「白團」。白團以外籍教官的身份，協助國民政府訓練軍官、擬定對中國大陸的作戰計畫。白團的活動一直到民國五十三年（1964）才告結束。