胡耀邦在撥亂反正時，特別是帶頭摧毀兩個凡是集團時，王震給予了高度配合，然而，二人的合作時期也就在這時瀕臨尾聲。而說到二人的分歧那就是關於如何對待毛澤東的評價問題。王震始終認為，在中國不能沒有共產黨的領導，而要共產黨的領導就不能離開毛澤東，否定毛澤東就等於否定共產黨。王震的這個理解是和當時的中國的政治氣候分不開的。十一屆三中全會結束之後，馬上在次年一月召開了理論務虛會，這次會議號稱務虛其實影響是很大的，被很多人稱作解放的春天，當然是指的思想上的解放，在會議上很多人大膽發言，其大膽程度恐怕在今天看也是比較犯忌的。有人提出毛澤東當年握過一個人的手，這個人於是就幾個月不洗手，宋朝的宋徽宗的寵臣朱勉就曾經把皇帝握過的地方纏上黃凌子以示重視，這種比較露骨的比喻在那次會上並不罕見。有人提出華國鋒的畫像完成之後送到一個省，省委書記、省革委會主任都帶領著大家敲鑼打鼓的迎接，因此感嘆說，我們這個黨怎麼淪落到今天的這種地步了呢？
這種直接討論毛澤東問題的事情越來越多，很多人說話已經相當露骨，胡耀邦本意是揭開蓋子，可是，一旦蓋子揭開之後怎麼辦，他自己也是胸中無數，特別是這種言論給凡是派提供了攻擊鄧小平等人的口實，於是，小平最後不得已出來說話，他說：「毛主席的問題不是不能說，但是不能全盤否定。」王震和胡耀邦的分歧也在這次務虛會後有所反應。這時候有一個插曲，十一屆三中全會期間，改選中央領導機構，增補陳雲、胡耀邦、鄧穎超、王震為中共中央政治局委員，根據吳江等人的回憶說胡耀邦不同意王震當選以致於王震惱火，這是傳聞。真實的情況是，胡耀邦被告知提名王震為政治局委員，但是，胡耀邦不同意，他說他和王震都是湖南同鄉，而且還是小同鄉，容易給人把柄，不嚴肅。然而這麼一個十分正常的講話以後被謠傳成為「胡耀邦認為王震當選政治局委員是不嚴肅的。」順便說一下，黨內的一些傳聞確實起到惡劣的作用，比如胡喬木為鄧小平起草一個講話稿子，鄧看後說寫的不行，不能用。結果被傳為「小平同志說胡喬木不行了，不能用了。」胡喬木本來就患得患失，聽到這樣的傳聞，其結果可想而知，以後還是鄧小平本人出來闢謠。問題關鍵是這次關於胡耀邦、王震的傳聞直到八十年代初期才讓王震知道，而胡耀邦始終蒙在鼓裡，據說王震知道以後非常生氣，他說為什麼我當選就不嚴肅了？難道否定毛主席就嚴肅了？支持自由化就嚴肅了？
關於王震其人，原來的中辦副主任李頡伯曾經有過一個評價，他說王震這個人心眼還是不錯的，雪中送炭的事也沒少做，但是，他也是一個「凡是派」，換言之就是凡是毛澤東的主張他都擁護，毛澤東的話他都認為對。另外，王震也是被人利用了。聶榮臻也說王震同志左的可愛。
胡耀邦辭去中央黨校的職務之後，中央安排黨校校長的人選，出乎意料的是陳雲提名王震擔任，比較可靠的說法是有鄧力群的一份功勞。政治局中有人提出不同意見，陳雲就說：「毛主席當初提議王震做過文化整風的領導小組組長，黨校校長主要是抓大方向的，文化水平是一方面。」以後，報請鄧小平時就獲得了批准。王震去黨校以後做了幾件事，一是清洗了不利於陳雲的幹部隊伍，二是給左派打氣。王震曾經針對有人散佈的關於鄧小平退休的話題說：「誰要是讓小平退下來誰就是 『三種人』。」《人民日報》上因為刊登了××的文章，王震就給報社的社長秦川打電話，問秦川還要不要腦袋了，有的領導說王震的脾氣大於此可見。
王震是反對自由化最力的人之一，他曾經在中央黨校公開的講過：「你們知道我是誰嗎？我就是關雲長廟裡的那個周倉，我手裡就是有那麼一把大刀，你們不是有三百萬大學生嗎？我們有三百萬軍隊，我就是要砍他的腦袋，什麼巴金、方勵之都是民族敗類，．．．．．．。」所以，基於這種認識他和胡耀邦在政治上的分歧是越來越嚴重。胡耀邦自己也不諱言這一點，一九八五年，胡耀邦在接受香港《明報》記者陸鏗的採訪時，陸問胡耀邦：「你和王震都是湖南同鄉吧？」 胡耀邦回答：「我們離的很近，他是北鄉，我是南鄉。」陸說：「那你們是南北呼應啊。」胡耀邦回答：「也可能是南轅北轍。」這種話之於王震所產生的後果是可想而知的。胡耀邦和陸鏗以及查良庸等人說了一些不該說的話，讓對手抓到了把柄，比如他和查（金庸）說中央的一些人事安排和領導人的待遇問題，還有這個同陸鏗的談話很快都被轉達到小平的耳朵裡面。
原來夾在胡耀邦和鄧小平中間平衡關係的主要是葉帥，前面引用的聶榮臻的那個對王震的評價其實也是接著葉帥的話說的，葉帥的原話是說：「王震是個左派，有時候左的厲害。」因為歷史上的原因，特別是懷仁堂事件之後，葉帥在中央的排名和地位是相當收到矚目的，十二大之前葉本人要求把自己的名字排在小平之後，鄧出面說不要動了，老帥德高望重，這也是做了總結的。所以，十二屆一中全會上常委的排名還是胡耀邦、葉劍英、鄧小平這麼排列的。胡耀邦自己也說過假如葉帥活著，很多事情或許不至於那麼糟糕。葉劍英在，王震等人後來不至於那麼凌逼胡耀邦。
