在定調子的八月五日，陶鑄以老戰友的身份給黃克誠寫了一封信，這封信代表了當時絕大多數的高級領導人的思想水平，陶鑄信中說道：「你我(指的是黃和他)都是讀了一些所謂聖賢之書的人，一個人立身於世不講究一些操守是很可悲的，尤其我們作為一名黨員，對於黨的忠誠等於舊社會一個女人嫁給了人一樣，一定要從一而終，決不可移情別戀，否則就不能稱之為 『貞潔』。」陶鑄後面直接勸說黃克誠就軍事俱樂部問題向中央妥協，按照中央的意思辦。黃克誠最後回憶說：「一生最難過的就是在那個文件上簽了自己的名字，好難簽啊。」
張聞天的秘書蕭楊同志回憶張聞天後來獨自一人坐車到牯嶺鎮的山中，默默的坐了很長時間。彭德懷的夫人浦安修本來彭總沒有同意她上山，可是後來浦說從來沒有來過廬山，怕是這次錯過了以後就沒機會了，彭就同意了，哪知道浦安修一上山就知道彭德懷犯了「天大的錯誤」，連風景也沒看，直接跑到楊尚昆和帥孟奇那裡去了。楊尚昆雖然不滿廬山的氣氛，可也是不敢胡言亂語的，只好說了些其他的話來安慰浦。這時候，像楊尚昆這個級別的幹部已經知道彭德懷是大難臨頭了。
八屆八中全會開完之後，毛澤東說政治處理從嚴，組織處理從寬，彭黃張週四人的政治局委員、候補委員都保留，具體職務沒有了，會上通過的決議號召和彭等人作鬥爭，口號喊的天響。彭德懷從會場出來，沒有一個人和說過一句話，毛澤東儘管表示還要繼續幫助彭，可是大家都已經看的十分的明白了，彭的政治生命已經結束了。毛澤東鼓動人們不要怕沾了彭德懷的邊，也是應者寥寥，值的一提的是張愛萍同志，彭德懷從廬山飛回北京的飛機上除了自己的妻子、秘書、參謀以外，再無一人願意和彭同機，有的人寧可晚回北京也要等下一班，只有張愛萍一人表示不在乎，於是飛機上始終就是彭德懷和張愛萍兩位領導人，飛機到濟南臨時停靠，張愛萍辦事另走，彭德懷在濟南賓館吃飯，其他飯桌上人氣十足，只有彭德懷這個飯桌上唯彭一人，沒有任何人過來和彭說一句話，哪怕是不必要的寒暄。
八月十九日，毛澤東佈置給吳冷西、陳伯達、胡喬木的任務是開足火力反擊彭黃張周，在報紙上徹底的批臭他們的觀點，而第二天張聞天還書生氣十足的給毛澤東寫信要求和毛澤東談一談，毛澤東把信批發給與會者，便再無回音了。
八月十八日，廬山的會議沒有結束，林彪就給北京的軍委留守大員們打招呼，要開一個規模龐大的軍委擴大會議，大軍區領導除了留一人看家外，必須全部參加，省軍區、野戰軍、軍一級的全部參加，西藏、新疆正在防禦敵人，不過也要派一個部隊的一把手參加，至少政委要來。這樣會議組織到最後有了508人參加，是建國以來最大規模的軍委擴大會議(也是目前為止絕後的)，林彪給賀龍、蕭華、羅瑞卿等人傳達的口信就是：「徹底批臭彭德懷、完全肅清彭在軍隊的影響。」 這一指示和毛澤東此前的交待是基本符合的。
軍委擴大會議從8.18日到9.12日結束，幾乎開了一個月，先是十四個組，後來編成兩個組，集中批鬥，語言和手腳並用，九月五日開始揪出了洪學智、萬毅、鐘偉、鄧華，林彪在廬山講話說：「我反覆想了一晚上，睡不著，鄧華留在軍隊我不放心。」鄧華因為受了這個關照，結局自然好不了，鐘偉因為300兩黃金和處死叛徒的事情和吳法憲、羅瑞卿幾乎罵了起來，羅瑞卿不承認自己當初說的話，鐘偉就罵他「孬種」，被組織會議的蕭華等人暫時給「請」了出去。洪學智表態說不能一概而論，話音未落，就受到圍攻，說他是彭的黑干將。
彭德懷被逼不過，氣憤的說：「把我拉出去槍斃好了，你們哪一個是俱樂部的成員，自己報名來。」蕭華、張宗遜揭發彭德懷和赫魯曉夫的勾結問題，在廬山已經被毛澤東點名了，這次再度提出，彭德懷在阿爾巴尼亞確實和赫魯曉夫見過面，時間是一九五九年五月二十九日、三十日下午和晚上，不過當時不僅彭在場，幾乎所有的軍事代表團成員都在場，還有翻譯，彭德懷申辯說自己根本不懂外語，怎麼和赫魯曉夫內外勾結，但是沒有人回應。九月十二日，彭德懷被迫寫出了正式的檢討，毛澤東「高度」讚揚了這個檢討，他說：我熱烈的歡迎彭德懷這封信，他的態度是誠懇的。八月二十二日，黃克誠在妻子唐棣華以「離婚」相要挾的情況之下也寫出了檢討，然而這次軍委會議上黃沒有受到比廬山更為嚴厲的批判。九月十二日，在毛澤東歡迎彭德懷信的同時，中央通過決議，正式稱呼彭德懷為「偽君子、野心家、陰謀家」 三個副詞之前一律加上十足的字眼，這是林彪在廬山給彭戴的帽子，除了馮玉祥一詞外，其他的完全引用，《中共中央軍事委員會擴大會議決議》給彭德懷做的決議直到八十年代才被推翻。
批判彭德懷最厲害的幾個人林彪、賀龍、羅瑞卿、蕭華、譚政都受到了不同程度的表揚，九月二十六日，中央改組軍委組成人員，林彪為第一副主席，主持全面工作。賀龍任第二副主席(常務副主席)，譚政、羅瑞卿再度被選為常委。而洪學智、鐘偉、鄧華、萬毅四人都被下放，他們被稱之為小「彭黃張周」。
一九五九年九月三十日，彭德懷交還了元帥禮服、勛章等，離開中南海永福堂，搬到頤和園東約二里的掛甲屯吳家花園居住。楊尚昆被毛澤東囑咐要經常看望彭德懷的生活。根據中央和毛澤東的指示，彭德懷被安排在中央黨校學習，十月一日，慶祝國慶十週年的典禮上出現了廬山會議的勝利者之一的林彪的身影，就此代替彭德懷主持軍委日常工作長達十年之久。
彭德懷通過一段的學習之後，寫成了五萬多字的讀書筆記，裡面用大量的事實闡述了大躍進的錯誤和影響，彭德懷預言「寧左勿右」的方針必將把中國引向一個非常嚴重的局面上去。一九六一年，八屆九中全會上毛澤東被迫接受陳雲等人的建議，提出調整的方針，彭德懷以為自己有希望復出，就給毛澤東寫信，回到湖南做農村調研工作，毛澤東表示同意，年底彭德懷回來交上調查報告，哪裡想到當時的中央正在緊鑼密鼓的成立彭德懷專案審查委員會。一九六二年一月二十七日，劉少奇在七千人大會上說彭德懷給毛澤東寫信本身沒有什麼大不了的，一個政治局委員向中央主席反映問題是正常的，彭的問題是兩點，一個是主席說的彭高合流，他是高饒集團的漏網之魚，二個是同志們揭發的彭裡通外國，有國際背景。所以，所有人都能平反，彭德懷不能平反。這時身邊的毛澤東插話定了調子：「裡通外國什麼時候也不能平反，彭是搞顛覆的。」根據彭的身邊工作人員回憶，彭看到這個決議之後，放聲大哭，手腳冰涼。二月一日開始到六月結束，彭德懷氣憤難平寫就了著名的萬言書給毛澤東、劉少奇、林彪等中央常委，萬言書長達82000字，歷時四個多月，是中共著名和重要的文獻之一，它集中闡述了彭德懷同志的政治觀點和思想，批駁了加在他身上的所謂的彭高聯盟和裡通外國等無中生有的罪名，八月二十二日，彭德懷再次給毛澤東上書，稱：「如果審查出我有裡通外國、顛覆中國的企圖，可以受到任何黨紀國法的嚴懲，絕不怨恨。」而此前，毛澤東在八月五日視察武漢時，和陶鑄、張平化、王任重等人談話時指出：「彭德懷這個人我比較清楚，那是不能給他平反的，這是個鐵案。」彭德懷上書不久，毛澤東批示：翻案。中央於是根據毛澤東的指示精神成立彭德懷專案審查委員會，主任為賀龍。專案審查委員會給彭德懷定的調子是：資產階級軍事路線中國代理人和篡黨篡軍的頭子。彭德懷從此失去人身自由，直到他病故為止，期間長達十二年的屈辱的生活，令人無法以言語表述。
一九六五年九月，《彭德懷專案審查報告》第五稿出來後，毛澤東忽然讓人把彭德懷找到中南海，請彭出任三線建設委員會副主任，並且說了諸如真理也許在你的一邊等話語，讓彭德懷倍感親切，以為自己萬言書起了作用，毛澤東還對彭說將來打仗還可以帶兵藉以恢復名譽等，彭很高興。然而事實的真相是，一九六五年三月，美國出兵南越，中央做了支持越南的決議，四月十二日，中央發出一切為了戰備的指示，毛澤東認為彭德懷、習仲勛、黃克誠等人不宜留在北京，可以找一個可靠的地方把他們「管」起來。這就有了彭德懷這次的「流放」。
彭德懷一九六五年十一月三十日到達成都，十一月十日，姚文元在江青的指使下已經炮製出來了《評新編歷史劇海瑞罷官》一文，把吳晗和彭德懷集中聯繫到了一起，目的在於打倒北京市委。彭德懷到達成都後，李井泉拒絕和他見面，此前幾天彭真和李井泉打招呼，傳達鄧小平的指示，不准難為彭德懷同志，李井泉自然照辦，然而還是沒有見面。西南局規定彭德懷有關軍工生產的工廠一律不得參觀、介入、考察，出行必須有一名局長「陪同」，正如楊尚昆指出的那樣「所謂的看護彭總的生活其實是監視他的起居。」不過因為鄧小平的關照，所以，彭在四川期間並沒有受到多大的為難。
一九六六年十二月二十七日，北航紅旗的紅衛兵在江青、戚本禹的指使之下，把彭德懷綁架到北京，中間除了周恩來通過衛戍區把彭以「看押」的名義保護七個月外(關於周恩來和彭德懷另外有文介紹)，彭德懷基本一直處在非人的待遇中，彭德懷多次被打，儘管如此他還異常的關注國家的生產建設，他給周恩來寫的唯一的一封信中還是為了中國的鎂礦出口生產問題，信中抬頭第一句就是：「今天被打的狠了．．．」。彭德懷被關押期間，禁止任何人探視，黃永勝在賀龍被打倒之後親自管理彭德懷的專案，一九七零年專案組判處彭德懷無期徒刑，開除黨籍和黨內外一切職務。看押彭德懷的工作人員回憶彭德懷後期因為直腸癌已經被割去了肛門，異常痛苦，他對自己說：「媽個×，疼得受不了，乾脆死了算了。」彭德懷經常對戰士說的幾句話是：「警衛戰士，疼得我一點辦法也沒有了，我實在忍受不了了，你幫我打一槍吧。」有一次彭德懷被打回來之後，說了他一生唯一的一次對毛澤東和黨中央的牢騷話：「無緣無故地關了我這麼多年，有誰來看過我一次，又有誰找我談過一次話，我槍林彈雨中征戰了一輩子，到如今落得這樣一個下場，蒼天啊！你真不長眼！」
彭德懷臨死之前還在為自己辯護沒有裡通外國，在他被看押期間除了黃克誠和他見過一面外，就只有上將李聚奎給這位功勛卓著的元帥鞠過一個躬(李聚奎回憶到：「一個月後的一天，彭德懷的房間打開了。只見他側著臉躺在推車上，被護理人員推出來。我忙走上前去，只見他對我輕搖了一下頭，示意我不要說話，我也只好微微地向他鞠了一躬。」)，彭德懷臨死之前說的兩句話是「毛主席發展了馬列主義。」「審查了我八年，也沒有結論，我不搞陰謀詭計，這點我是清白的。」
公元一九七四年十一月二十九日，彭德懷同志與世長辭，終年七十六歲，骨灰盒上寫的名字是「王川」。
黃克誠在回憶廬山會議時對毛澤東，他說了一段意味深長的話出來，黃說：「當時毛主席叫我臨時上山開會是給彭德懷同志的反黨集團湊班子，既然叫反黨集團，總不能只有一個人，彭德懷搞反黨集團，你們想想，沒有黃克誠參加誰能相信？」(《彭德懷》第255頁)如果再往深處想，黃克誠被安排在彭的隔壁居住，同是河東路176號，那麼問題確實不那麼簡單了。
八屆八中全會上本來有一個《關於撤銷黃克誠同志中共中央書記處書記的決定》，然而被毛澤東扣住沒有發出來，直到一九六二年十中全會上批判譚政時，才把這個決議發了出來，和譚政被撤職的一起發表的，以致於很多人以為組織處理黃克誠是在一九六二年而非一九五九年。
黃克誠在軍委擴大會議上的待遇明顯比彭強的多，林彪手下的干將沒有幾個人特殊的難為黃，除了吳法憲以外。(吳法憲這個人一貫作惡多端，現在還有人稀裡糊塗的為他叫好，不知好在何處)一九六一年國慶節，黃克誠被通知上天安門觀禮臺，毛澤東見到黃之後主動招呼黃過來坐，問黃很多事，還說看了黃的來信，此前黃克誠被陶鑄好心勸說給毛澤東寫過一封悔過的信，毛澤東問黃還想不想回軍隊工作，黃說能不能出來工作、講話，毛澤東表示可以，完全可以。黃克誠一念之差沒有回應毛澤東讓他回軍隊的事，反而表示要去做做調查研究，給領導做做參考，毛澤東同意了他的意見。
八屆十中全會開幕之後，毛澤東還讓黃克誠參加會議，會開了一半，黃克誠被通知回家，因為彭德懷的專案審查委員會開始工作了，而裡面自然也有黃克誠的專案，一九六五年九月之前，沒有給黃安排任何具體的工作，直到九月，楊尚昆、安子文找黃克誠談話，讓他去山西做副省長，走的很急，這時候楊尚昆也是自身難保，所以說了一些比較暗示性的話，黃還沒有聽出來。到了山西不久，文革爆發，黃克誠一開始很樂觀，他以為文革是整的彭真等人沒有他什麼事，哪知道次年 (1967年)一月，他就被紅衛兵抓到了北京，隨後和彭德懷關押在一起，黃克誠和彭的感情很好，在太原期間還夢見了彭德懷，寫了一首詞：
久共患難自難忘。不思量，又思量；山水阻隔，無從話短長。兩地關懷當一樣，太行頂，峨嵋崗。猶得相逢在夢鄉。宛當年，上戰場；軍號頻吹，聲震山河壯。富國強兵願已償，且共勉，莫憂傷。
