毛很少出席廬山會議的討論會。就在共產黨正在激烈辯論如何克服飢荒，而千百萬的長民相繼餓死之際，他從未公開承認大躍進的失敗，也不肯正視總路線所引起的大災難。在這期間，他談話很少，相當沉幽。毛很少公開露面。但是很明顯，他仍渴望崇拜。在大災難中，這種傾向更為明顯。林彪提倡學習毛思想和那些女孩子們的熱情崇拜，正符合他的心意。
在廬山，毛與江青仍住在上次住過的小樓。晚上天天開舞會，由江西省歌舞團的樂隊件奏，歌舞團的女孩子們伴舞。因為江青每晚都參加，所以散場比較早，舞場中也比較沉悶。
毛曾經為丁玲、楊開慧和那位身著民兵服的女機要員寫過詩詞，江青很不平靜。毛為了安撫江青，給她寫了一首七絕。《為李進同志題所攝廬山仙人洞照》，時為一九六一年九月九日：
暮色蒼茫看勁松，亂芸飛渡仍從容。
天生一個仙人洞，無限風光在險峰。
江青有了這首詩極為得意，到處顯示。並且自己作了一首詩，《五絕：自題小照》：
江上一峰青，隱在雲霧中。
平時看不見，偶爾露崢嶸。
江青將自己的名字夾在絕句裡。這絕句正也是抒發其政冶野心不能得逞的抑幽之作。在文化大革命時，這首絕句被她拿來宣揚自己。
這裡附帶說一下，一九六一年，毛的一位女友送毛一封信，其中抄了陸游所作《卜運算元：詠悔》，藉以表明毛已將她拋置了。毛看了以後，也作了一首《卜運算元：詠悔》給她：「風雨送春歸，飛雪迎春到。已是懸崖百丈冰，獨有花枝俏。俏也下爭春，只把春來報。待到山花爛漫時，她在眾中笑。」這明明是安慰她的一首詞，
可是到一九六三年，中蘇關係公開破裂，發表了這首詞，報刊上紛紛認為這是申明：「在帝國主義和修正主義的嚴寒冰雪中，只有中國共產黨堅持馬克思列寧主義鬥爭。」這是典型的將毛作的詞「拔高」。
毛每天起床後，我們陪他到江西省委於一九五九年為毛在廬山造的新別墅旁的水庫裡游水。然後在別墅中「休息」，以避開江青和其他領導人的耳目。這時都是由廬山療養院的一位護士（毛、護士兩人初遇於一九五九年的廬山會議）陪他。
毛為了不讓江青撞見，有兩次從山下乘車到九江，在長江游泳，然後到九江市委招待所和他的「女友」休息。但是天氣實在太熱不能久停，只好匆匆又回到山上。
一九六一年夏季，毛叫他的第二位妻子賀子珍前來廬山。在此之前，一九五九年，毛在上海時曾見過賀子珍一次。那年春夏之際，賀子珍曾給毛澤東寫過一封信，其中提到「你一定要注意你身邊的王明一樣的人害你」。賀在與毛分居後便發生了精神病，毛和賀從未正式離婚。賀是少數經歷過長征的女紅軍之一。但毛在一九三五年到延安後，很快便對賀失去了興趣。一九三七年賀去蘇聯養病。二次大戰期間，賀在蘇聯與她女兒李敏相依為命。毛兩個兒子毛岸英、毛岸青當時也在蘇聯。蘇聯精神科醫生曾診斷賀子珍為精神分裂症。賀回中國後，精神狀況也一直末見改善。毛安排她住在上海。多年來，賀一直未恢復正常。
毛給賀子珍回了一封信：「……找身邊絕無王明之流的人，我已經把他們下放的下放，送去學習的學習。請你放心。你要好好保重身體，兢兢業業，多看看社會主義建設。」毛安排賀和他見面。
毛將一條三五牌香菸，連同一千元人民幣，讓上海公安局局長交給賀子珍的弟弟，在上海警備區工作的賀敏學，轉給賀子珍。
江西省公安廳派人將賀子珍接到廬山。毛與賀子珍就在半山新修的別墅中見了面。
賀子珍滿頭白髮，步履蹣跚，面色蒼黃。除去剛剛看到毛時，眼色現出一絲狂喜而驚慌的神情外，幾乎沒有任何表情。
毛見到賀子珍進來以後，立即迎上去，拉住賀的雙手。然後拉著賀子珍坐到身旁的扶手椅上。這時賀子珍兩眼開始紅潤，沁出了淚水。
毛拍著賀的肩膀，微笑著說：「你看到我給你寫的信了？錢收到沒有？」
賀說：「信看過了，錢也收到了。」
毛便細問賀的治療情況，和日常的生活情況。賀說話輕聲低緩，每個字和每個字似乎都不連貫。可是時間越長，賀的神情越加激動，臉也現出淡紅色。
毛留賀吃飯，賀搖搖頭。毛說：「我們見面，你的話不多。你回去後，聽醫生的話，好好治療，我們還要見面。」
江西省公安廳的牛廳長陪著賀子珍走了。毛在客廳裡，吸著煙，沉思不語，臉上顯出抑幽的神態。我看得出他很為賀難過。他最後開口，聲音小得我幾乎聽不到。
他說：「老多了，病還是很重。」又回過頭來問找：「是不是上次給江青檢查身體的那位粟宗華院長給賀子珍看病？」
我說：「是的。」
毛問：「到底是什麼病？」
我說：「是精神分裂症。」
毛說：「什麼叫精神分裂症呢？」
我說：「就是人的思想和現實世界相相離。這個病的原因，還沒有研究出來。在治療上，一些藥的效果也不大好。」
毛說：「這不是同毛岸青一樣的嗎？」
我說：「是一樣的病。毛岸青在大連，由保健局派醫生和護士在治。」
毛說：「我看這兩個人是治不好的了。這也是無可奈何啊！」
我只能沉默地點點頭。
一九六二年在上海，我又瞧見他臉上有相似的神情。他那時把五十多年前他年輕時，在韶山老家發生第一次關係的女人找來見他。當年的年輕女孩如今成了白髮老婦。毛給了她二千元叫她回家。毛說：「怎麼變了這麼多。」
就我所知，江青一直不知道這次見面的事。
