為了管制人民的思想與預防對納粹政權「不利的」行為，納粹德國設立秘密警察的機構。通稱為蓋世太保（Gestapo）的國家秘密警察，是個令人聞風喪膽的組織。該機構所擁有的權力在法律上完全沒有設限，其最高主管的官員就是黨衛軍的總司令海因里希?希姆萊，由此也可看出兩者之間密切的關係。日後由希姆萊所掌管的秘密警察總部，稱為「帝國保安總局」。帝國保安總局主要的任務在於「調查國境內所有危害國家之情事，並予以打擊。」在取締與取證上，可以「無所不用其極」，完全不需要擔心會被司法查核。數以千計被疑似、或是被告發的納粹反對者，被隨意的「保護性拘留」。被捕者完全沒有任何機會尋求法律途徑抵抗拘捕，一旦被蓋世太保逮捕，極少人能夠全身而退。酷刑招供是每天的家常便飯。許多招供者被施以「特別處置」，也就是未經法律審判，而直接處以死刑。另一方面，隨著德軍入侵各國的腳步，大量蓋世太保隨德國國防軍一同進入佔領區，在那建立眾多輔警部隊，這些輔警部隊全部聽命於蓋世太保，成為其機構的一部分，隨同其進行恐怖統治，濫殺無辜，草菅人命。每年佔領區中死於蓋世太保手下的人數目難以估計。除了秘密警察的監視外，德國人民的生活中，也必須提防左鄰右舍中是否有國社黨員，會將他們的一舉一動報告給相關單位。透過如此無孔不入的社會控制，納粹實現了在德國及被佔領國家的恐怖統治。