就在基洛夫被暗殺的當天晚上，斯未經政治局同意，發出3條指令，其中指示司法機關不要考慮對犯死罪的人執行死刑可否赦免；一經判決立即執行死刑。列寧的老戰友季諾維也夫、加米涅夫等被判處徒刑。從此秘密審判開創不祥先例，常常把黨內不同意見上升到反黨活動的高度，打成反黨派別，賦予「階段敵人」的含義。斯首先掀起輿論宣傳工作，號召人民提高警惕，各地舉行群眾大會，號召採取革命行動，不斷有「敵對中心」、「陰謀集團」和「恐怖集團」被揭發出來，開始隨時抓人捕人。僅列寧格勒幾個月就有三四萬人被捕和流放，許多與基洛夫事件無關的人也受到牽連。後葉諾夫接替主管監察委員會，同時又有兩人馬林科夫、貝利亞進入掌權地位。在幕後還有最接近斯的波斯克烈貝舍夫，他掌握斯簽名的橡皮圖章，成立一個安全特別秘密政治處，正是這幾個人在斯的命令下策劃了大清洗。
1936年8月，進行了聳人聽聞的16人審判，全國性的恐怖行動開始了。包括季、加等列寧的老戰士全部作為黨的叛徒被處決。9月26日，葉諾夫又被任命為內務人民委員，開始了更為殘酷的恐怖運動，一直持續到1938年。1937年1月23日，莫斯科舉行第二次表演性大審判，17名被告被說成是反蘇托洛斯基中心的領導人，結果13人被處決，4人被判十年徒刑。審訊後不久，斯最老的同事朋友、曾向列寧談起幫助斯首次選入中央委員會，並建立深厚革命友情的政治局委員奧爾忠尼啟，由於家被搜查，與斯大吵一架，2月18日在家開槍自殺。據說他是唯一向斯提出反對內務人民委員活動的人，特別反對貝利亞，還為一些被捕的人說情。
1937年2月，斯在中央委員會會議上發表長篇講話，談到外國特務與托洛斯基分子己滲透到最高領導機關，命令為下至最基層、上至加盟共和國每一位黨的領導人指派兩名助手，開辦訓練班。斯的講話受到與會者一致鼓掌喝采。當布哈林、李可夫上臺為自己辯解時，被會場上叫喊聲哄下臺。同時，陰雲開始凝聚紅軍頭上。5月1日，圖哈切夫斯基還站在斯的旁邊檢閱遊行隊伍，可能成為斯的副司令。但在5月27日卻莫名其妙被逮捕了。6月11日，他和其他7名將領受到秘密審訊，第二天8人全被處決。到1938年，有3.5萬人成了犧牲品，佔全軍的半數。5名元帥中的3名，15名集團軍司令級中的13名，85名軍長級中的57名，196名師長級中的110名，406名旅長級中的220名，所有11名副軍事人民委員，及及最高軍委80名委員中的75名，上校級以下軍官有3 萬名被清洗了。
斯大林的個人崇拜達到高峰，全國96.6%選民投了斯的票。但這並未使斯停止清洗，1938年3月又一次對21人的審判，主要被告是布哈林、李可夫和克列斯廷斯基前3名政治局委員，其中11名被處極刑，其他人後來都死在監獄裡。當斯肅反目的達到後，於7月真正煞車了。葉諾夫這個殺人劊子手過後不久也被處決了。
