與神社參拜政策互為一體兩面的，就是「寺廟整理運動」，日人拆除台灣舊有民間信仰的寺廟，獎勵各街庄以參拜神社取代傳統信仰，很多漢人信仰受到壓迫，甚至沒收寺廟的神像集中焚毀，稱為「神佛升天運動」。1938年台灣總督府召集各地方官會議，授權地方政府開始整頓寺廟，有關寺廟整理的原則為：一、寺廟以全廢為原則，但過度時期可一街庄保持一寺廟；二、舊有慣習中的祭祀活動的改善以及寺廟管理的行為須盡量合理化；三、祭祀的神明應改為純正的佛教或道教的神佛；四、寺廟的建築物必須漸次改為佈教所或寺院型態；五、被廢止的寺廟及神明會等宗教團體，其財產另外組織教化財。日人實施寺廟整理運動的原因，事實上與其因應戰爭爆發的政策有關：一來是為了排除皇民化運動的障礙，為了徹底根植臺灣人敬神尊皇的思想、神社參拜、大麻奉齋、日本式的生活普及等觀念，與台灣人日常生活的冠婚葬祭、年中行事等不可分割的寺廟，就變成皇民化最大的妨礙。二來台灣傳統的信仰可以說是「支那的信仰」，把中國的思想從台灣掃除是必要的，尤其是中日戰爭爆發之後，中國與日本是敵對的關係，中國的色彩變成疾病一般，在台灣被窮追猛打。寺廟的撤廢、神佛像的燒毀等等，是掃除從中國來的迷信很重要的象徵。其三，地方官廳對於寺廟或神明會龐大的財產都相當在意，若是寺廟整理之後，這些財力對神社的建造、國語講習所或集會所的建設，甚至可以轉為其他社會教化事業的利用，寺廟整理當然成為刻不容緩的事情。剛開始整理寺廟時，台灣傳統寺廟的各種神像，凡是泥塑者均被摧毀，木雕的除了部份送政府研究單位典藏外，大部分都被燒毀，寺廟則是被拆除，各種祭祀器具都被毀棄，如果能夠獲得保留的寺廟，還得將寺廟的屋脊兩個角拆除，讓寺廟變成日本式的建築物。廢除寺廟的行動實施後，引發民眾的不安，在台灣的日籍僧侶及學者，都不主張以強迫的手段整理台灣的傳統寺廟，1939年日本國會議員即質詢過這個問題。只是台灣總督府的目標是藉著皇民化運動讓台灣人的精神日本化，在日人看來，寺廟與迷信的整頓，不可諱言是皇民化運動的一環，只是這個措施雖然有助於陋習的改良，卻往往引起更多的民怨。很多寺廟為了自保，紛紛加奉佛教的神祇如觀世音菩薩、釋迦摩尼等，以免被拆除。1936年起，地方也發起改變台灣傳統廳堂配置與祭祖習俗的運動，台南州東石郡鹿草庄的後堀、麻豆店兩個村落，舉辦了「牌位燒毀儀式」，總共有1224座牌位堆積在焚燒場中，由僧侶舉行盛大莊嚴的焚化儀式，從此之後各地紛紛起而效尤，不僅祖宗牌位，連神佛像與掛軸都難逃燒毀的命運。