五四運動前，曹汝霖曾集交通總長、財政總長、交通銀行總理等數職於一身，是北洋政府權重一時的政客。
1919年的巴黎和會上，由於部分列強與日本事前簽署了密約，協約國公然將戰敗國德國在山東的權益轉讓給日本，激起中國人民的強烈不滿，從而引發了具有劃時代意義的五四運動。當時，交通總長曹汝霖因負責把部分權益讓予日本，與貨幣局總裁陸宗輿及駐日公使章宗祥並稱為「三大賣國賊」。五四運動中一句著名口號即是「外爭國權，內懲國賊」。「五四」當天，學生遊行到趙家樓曹宅，曹汝霖躲了起來。學生誤把當時在曹宅的章宗祥當成曹汝霖，痛打章氏一頓，並放火燒了曹宅，此即火燒趙家樓事件。後來，一些學生被抓，事件演變成大規模的罷課、罷工及罷市。6月10日，曹、陸、章三人被免職。
「五四」過後，曹汝霖先在醫院躲了幾天，後搬到北海團城(當時由京綏鐵路局看管)暫住。曹在這裡足不出戶，每天以寫字打發時光，還改了個名字叫「覺廠」，大概有點閉門思過的意思。
五四運動時，曹汝霖不過42歲。此後他沒再任過要職，似乎也沒有東山再起的企圖，而是熱衷於慈善活動。每年冬天，曹家都向拉洋車的車伕施舍100套棉衣。施舍的方式也比較特別，每次由家裡當差的抱著幾套棉衣出門，看見街上有衣不蔽體的車伕，便雇他的車，拉到僻靜的小胡同，叫車停下來，施舍給車伕一套，然後再去物色下一個對象。據說這個辦法可以避免棉衣被人冒領。曹家還經常向人施舍棺木。
上世紀20年代，由曹汝霖發起，共有20多人出資，在阜城門內白塔寺溝沿建了一所醫院，取名中央醫院。醫院落成並買進所需醫療器材後，尚餘20萬元，存在由曹汝霖代管的新亨銀行。中央醫院屬於慈善性質，用這20萬元支撐醫院的開支，窮人來看病，一概不收醫療費。後來新亨銀行倒閉，醫院所剩的幾萬元，改存匯業銀行。匯業銀行歇業後，又改存中南銀行。曹汝霖一直擔任中央醫院的院長、名譽院長等職，經費方面都由他籌措，冬季用煤也由他任董事長的井陘正豐煤礦公司供給。但曹汝霖不從醫院拿任何薪水，只有他到醫院時，由醫院給他的汽車灌滿汽油，這就是他從醫院得到的全部報酬。
曹汝霖主持中央醫院達十餘年，日軍侵佔華北後，曾想強佔這家醫院。曹去找日軍交涉說:「這家醫院原來是私人經營的，而且是慈善性質。」日軍方罷手。日軍接管了協和等醫院後，一些名醫如鐘惠瀾、周華康等不願為侵略者賣命，紛紛被中央醫院網羅過來。醫院的婦產科，也在此時創建，由林巧稚大夫主持。抗戰勝利後，曹汝霖辭去院長，請鐘惠瀾繼任，他對鐘說:「我本是個外行，維持了十幾年，雖然沒有成績，但幸而沒有大過。日本人在這裡，我不能不頂著名字應付應付。現在日本人走了，還是你們幾位專家多負些責任吧。」1949年後，中央醫院由中共接管，更名為人民醫院。
抗戰爆發後，曹汝霖曾公開表示要以「晚節挽回前譽之失」，不在日偽政權任職。據說日軍在籌組華北偽政權時，一度曾把曹汝霖看做理想人選，但曹始終不為所動。後來，王克敏曾給他掛上「最高顧問」的虛銜，王揖唐出任偽華北政委會「委員長」時，又給曹挂了個「諮詢委員」的空銜，但曹汝霖從不到職視事，也未參與漢奸賣國活動。敵偽組織還曾打算讓曹汝霖出任糧食局偽職，他說:「日本人吃糧食不受限制，單管中國人，我怎麼管，這不是找罵嗎？」當時北平的老百姓多吃雜和面，一次，曹把用雜和面蒸的窩頭帶到偽華北政務委員會，對王克敏說:「這樣的糧食怎麼能讓老百姓下嚥。」王克敏聽後拿起窩頭就咬了一口，說:「這怎麼不能吃！」日軍特務機關長喜多誠一對曹的不合作十分不滿，曾指斥曹:「為什麼我們‘皇軍’來了，你不出頭幫忙，你究竟做什麼打算？」
值得一提的是，被指為「親日派」之稱的曹汝霖在大義面前沒有淪為漢奸，而當年的北大學生，在火燒趙家樓事件中衝在前面、放了第一把火的梅思平，抗戰期間卻墮落為一個大漢奸，出任過汪偽政權的組織部長、內政部長、浙江省長等要職。1939年12月15日，梅13歲的女兒梅愛文在《浙甌日報》發表文章《我不願做漢奸的女兒，我要打倒我的爸爸》。當中寫道:「我的年紀雖小，對於在艱苦戰鬥中的祖國，我是懷著最熱情的愛的。而對我那做了漢奸的父親，我卻懷下了切齒的仇恨。今天我要公開宣布同梅思平脫離父女的關係，我要公開宣布我父親梅逆思平的漢奸罪狀，我要打倒我的爸爸。」這篇文章雖然不過800字，卻引起很大的社會反響。隨後，梅思平的繼母梅王氏率同他的兩個異母妹妹在報上刊登啟示，與梅脫離一切關係，稱其「附逆作賊，害國辱祖」。抗日勝利後，梅思平被處決。
曹汝霖晚年在憶及五四運動時說:「此事距今四十餘年，回想起來，於己於人，亦有好處。雖然於不明不白之中，犧牲了我們三人，卻喚起了多數人的愛國心，總算得到代價。」
