1938年秋，毛澤東要與江青結婚，延安議論紛紛，許多老同志有意見。原在北方局做秘密工作的王世英，當時正在中央黨校學習，寫了一封信給中央，說江青在上海桃色新聞很多，毛主席同她結婚不合適。信上簽名的人一大串。根據地也有打電報、寫信來的，比如，項英就曾電報中央極力反對。這些意見都集中到張聞天那裡。中央的幾位領導同志也向張反映，希望他出面做做工作。張聞天覺得為難：結婚是個人私事，別人不便干預；毛澤東的個性又極強，認準了事很難回頭。但大家的意見確實很有道理，黨的領導人的婚姻也不能等閑視之。考慮再三，張聞天綜合大家的意見，以個人名義給毛澤東寫了一封信。信寫得比較婉轉，大意是：你同賀子珍合不來，離婚，大家沒有意見，再結婚也是應該的，但是否同江青結合，望你考慮。因江青在上海是演員，影響較大。這樣做，對黨對你，都不大好。
毛澤東讀罷勃然大怒，當場把信撕了，說：「我明天就結婚，誰管得著！」第二天就在供銷社擺酒席兩桌，張聞天自然不在賓客之列。
影響兩人關係的另一件事，就是對馬列學院的評價。自六屆六中全會後，張聞天盡量推掉「總書記」的工作，把主要精力放在宣傳部和馬列學院。延安馬列學院是中國共產黨的第一所攻讀馬列主義的比較正規的學校，是延安的最高學府。自學院創辦之日起，張聞天就兼任院長，直到1941年7月改組，前後有3年多的時間。為了辦好這所學校，張聞天傾注了大量的心血，並始終充滿眷戀之情。1976年6月底，他在病逝前夕曾對外甥說：「我一生沒有為黨的事業做出多大的貢獻，但有一點可以自慰的，在馬列學院時為黨培養了一批好幹部。」
然而，毛澤東對馬列學院並不滿意。1941年5月，他作《改造我們的學習》的報告，其中有一段就可能與馬列學院有關係：「在學校的教育中，在在職幹部的教育中，教哲學的不引導學生研究中國革命的邏輯，教經濟學的不引導學生研究中國經濟的特點，教政治學的不引導學生研究中國革命的策略，教軍事學的不引導學生研究適合中國特點的戰略和戰術，諸如此類，其結果，謬種流傳，誤人不淺。在延安學了，到富縣就不能應用。經濟學教授不能解釋邊幣和法幣，當然學生也不能解釋。十七八歲的娃娃，教他們啃《資本論》、《反杜林論》。」(最後一句在公開出版的《毛選》中刪去了)
在另一場合，毛澤東甚至公開指責：「馬列學院是教條主義的大本營。」
對於毛澤東的批評，張聞天感到很委屈。他後來寫道：當時我有點苦悶，有時也發點牢騷，說毛主席似乎「不公正」，看人有點「偏」。一個人在一件工作上，他看中意了，就只看見他好的方面，另一個什麼地方不滿意了，就什麼都是壞的。中央決議通過的，照著做了又來駁斥，因此事情不好辦。同時我精神也準備著，大工作做不了，就做小工作也可以。別的同志有時提議，要我找毛主席當面談談，我有時想不談也就算了，我為人如何，以後證明，我何必急於人家瞭解！
不過，張聞天後來還是「下決心找毛澤東同志當面談了」。第一次，是在1941年六七月，「我到棗園找毛澤東同志談了一次話，他談得很溫和，似乎還不願意批評我。」第二次，毛約了康生、陳雲、任弼時一起同張聞天談。毛澤東嚴厲地批評了張聞天，說張一事不懂，偏要人家依，不依則打；還說張不顧大局，無自我批評精神；還給了張聞天幾個字的評語。
是張聞天有選擇機會的時候，他總是選擇遠離毛澤東的地方
1941年9月至10月，中央政治局召開擴大會議，討論黨史上特別是土地革命戰爭時期的路線問題，拉開了中央領導層整風運動的帷幕。毛澤東在第一天的會上作了主題報告。他明確指出：「過去我們的黨很長時期為主觀主義所統治，立三路線和蘇維埃運動後期的主觀主義表現更嚴重，它的形態更完備，統治時間更長久，結果更悲慘。」這是因為他們自稱為「國際路線」，穿上馬克思主義的外衣，其實是假馬克思主義。
聽了毛澤東的報告後，張聞天第一個作檢討。他說：我是最主要的負責者之一，應當承認錯誤，特別在宣傳錯誤政策上我應負更多的責任。發言中，張聞天還提出「補課」的問題，他說：過去國際把我們一批沒有做過實際工作的幹部，提到中央機關來，給黨的事業帶來很大損失。過去沒有做過實際工作，現在還要補課。過去我們對蘇維埃後期的錯誤沒有清算，這是欠的老賬，現在必須償還。張聞天說話算數，不僅是口頭表示，而是有實際行動。從1942年1月起，他主動要求去農村調查，在陝北神府、綏德、米脂和晉西北的興縣等地的幾十個村莊調查了將近一年半，直到1943年5月才回到延安。
「書可焚燒，書可禁讀，但禁不住寫書人的思想的波濤」
張聞天動過手術病癒出院了。他這時雖然仍保留著政治局候補委員的名義，但工作已經停止了。為黨的鞏固和發展，為新中國的涎生和成長奮鬥了將近40年的張聞天，如今被拋在一邊，這是多麼悲涼和痛苦！他對妻子說：「我不能閑著，我要工作，大的工作幹不了，就做小的工作。」1960年元旦，大病未癒的張聞天就給毛澤東寫信，婉轉地表達了要求工作的願望，以後又幾次寫信給毛，但都沒有下文。
張聞天無奈，找總書記鄧小平。鄧說：「研究國際問題吧，那是你的本行，你熟悉。」這正合張的心意。
張聞天又去徵求劉少奇的意見。劉說：「國際問題，外交戰線，你還是暫時迴避的好。還是搞經濟吧。」
張聞天領會所謂「裡通外國」的謠喙尚未澄清，劉少奇讓他避嫌是出於關心。搞經濟他也樂意，就按劉的意見找當時的經委主任李富春。李同張在東北局財經委員會曾一道當過陳雲的副手，聽張聞天一講，非常歡迎，說我們這兒正需要你這樣懂得經濟理論的人，歡迎你來。但過了不久，張聞天接到李的來信，信中表示歉意，流露出經請示未獲同意，無可奈何的意思。
是誰不同意李的信中未說。其實這是無需點破的事情。
1960年11月，中組部副部長找張聞天談話，告訴他，中央決定讓他到經濟研究所當特約研究員。張聞天心裏清楚，「特約」研究員並不是讓他研究什麼，只不過是安排個地方領工資、有個單位過組織生活而已。然而，他並不在意，回來高興地告訴妻子：「只要有事做，就行。」
不久，張聞天到經濟研究所報到，並把「特約」研究員真的當回事來做。他不因受打擊、被排斥而絲毫減輕對黨的事業的責任感，依然孜孜不倦地研究社會主義經濟問題，寫了許多讀書筆記，每寫一篇就送到楊尚昆處，再列印出來分送給中央領導同志。1962年2月，毛澤東又收到張聞天的這種成文的「筆記」後，曾給劉少奇、鄧小平寫了一封簡訊，說「此人是個動搖分子，累犯錯誤。他說的是否可信，值得研究。」
8月，張聞天又向毛澤東轉交了一份《關於集市貿易等問題的一些意見》，這是他到江蘇、上海、浙江、湖南調查研究兩個多月以後寫成的。報告提出了進一步開放集市貿易，拓展流通渠道、調整工農業產品比價等政策建議。
報告送交中央之前，他還鄭重地給毛澤東寫了一封信。本來在他提出寫調查報告時，劉英心裏就犯嘀咕：廬山會議挨了一頓批判，如今才事隔兩年，又要提建議，難道還不汲取教訓？這時，報告馬上就要送上去，她不得不出來勸阻：「是否就不要送了，你的意見人家不會採納，弄不好又要引禍燒身。」
張聞天堅持要送上去。果然不出劉英的預料。報告送上去不到兩個月，八屆十中全會就召開了，重點批判「單干風」、「翻案風」、「黑暗風」，並決定對「彭黃張周反黨集團」進一步審查。張聞天的這篇報告也變成了新的罪證。接著，1965年經濟研究所進行「社教」運動，這篇報告又成為新的批判對象，說它是反映了沒落階級的要求，甚至說是又一次向黨進攻，性質之嚴重超過了廬山會議上的發言。
1966年6月，「文化大革命」的狂飆席捲全國，張聞天受到軟禁與批鬥。
1969年10月，張聞天被逐出「北京」，「發配」到廣東的肇慶。
林彪事件的發生，引起張聞天極大的震動，促使他把經過深思熟慮的觀點形諸筆墨。此肘的張聞天，沒有恢復組織生活，沒有人身自由，可是他仍然樂觀而自信，在黑暗中看到光明，在逆境中看到希望，沉下心來，寫了將近10萬字的理論文章，深刻地總結從「大躍進」到「文化大革命」這一段歷史曲折的經驗教訓，批判種種「左」傾錯誤觀點，探討在中國建設社會主義的規律。張聞天毫不懷疑自己掌握著真理，他對外甥講：「書可焚燒，書可禁讀，但禁不住寫書人的思想的波濤。不是嗎，我過去寫的讀書筆記，被掠奪一空，今天我又重寫了一大沓！」
