齊永元三年(公元501年)，蕭衍率義軍攻打郢州(治所在今湖北武昌)，東昏侯蕭寶卷任命陳伯之為豫州刺史，佔據尋陽(今江西九江)來抵禦義軍。蕭衍攻下郢州，找到陳伯之的幢主(南北朝時禁軍主將的稱呼)蘇隆之。派他勸說陳伯之投降，告訴他如能歸附，就封為安東將軍、江州刺史。陳伯之雖接受了這一條件，但心懷猶豫，首鼠兩端。蕭衍趁其猶豫，率大軍抵達尋陽城下，逼他投降。陳伯之不得已而歸附。
蕭衍封陳伯之為鎮南將軍，領著他一道去攻打建康(今江蘇南京)。大軍圍困建康城，每當有投降的人從城中出來，陳伯之就召喚來小聲地探問城中的情況。蕭衍怕他再有反覆，就召他來秘密地說：「聽說城中將吏對你投順一事非常惱火，想派刺客來殺你，你應當慎重考慮，務加小心。」陳伯之不相信。正逢東昏侯的將領鄭伯倫投降，蕭衍再派他從陳伯之那裡經過，對他說：「城中人對你很惱火，想寫信引誘你去投降。你一投降，就要剁下你的手腳；你如果不投降，也要派刺客刺殺你。你要作好防備。」陳伯之害怕，不敢再有倒戈的念頭。由於作戰有功，建康平定後，進號征南將軍，仍回江州(治所在今江西九江西南)鎮守。
陳伯之不識多字，公文書信只能看懂大概意思。大事的裁奪往往取決於身邊的心腹。他身邊有鄧繕、戴永忠、褚緭、朱龍符等重要心腹。朱龍符是陳伯之同鄉，任長流參軍，仗著陳伯之不明下情，恣意胡行。蕭衍得知後，親筆寫信由陳伯之兒子陳虎牙送來，陳述朱龍符罪狀。陳伯之認為朱龍符是驍勇健兒，對他不作處罰。鄧繕曾救過陳伯之，任江州別駕，蕭衍派人代替鄧繕江州別駕職位，陳伯之認為鄧繕有功績不動他的官職，將所派來的人擔任治中。褚緭是個品行惡劣的小人，向來有竄掇陳伯之梁叛投魏的打算。陳伯之身邊的心腹對蕭衍都懷有敵對情緒。鄧繕勸說陳伯之叛梁，認為現在國庫空虛、東方飢荒，是千載難逢的時機。褚緭、戴永忠等也極力附和。
於是陳伯之召集將吏說：「我接到齊建安王指令，他率江北10萬大軍已進駐六合(今江蘇六合)，命令我們運糧連下，我受齊明帝厚恩，要以死相報！」並把褚絹假造的蕭寶夤的書信拿給大家看。眾將果然相信，歃血為盟，同心反梁。
武帝命王茂攻討陳伯之，陳率眾攻豫章(今江西南昌)，留下同鄉唐蓋人守江州。王茂也率軍追到豫章。豫章太守鄭伯倫堅守，陳伯之攻城不克，王茂前軍已趕到，陳表裡受敵，大敗逃走，與陳虎牙、褚緭等都逃入北魏。魏封他為平南將軍、光祿大夫，曲江縣侯。
天監四年(公元505年)，武帝派臨川王蕭宏率軍北伐，兩軍對峙，蕭宏命諮議參軍、記室丘遲寫信招降陳伯之，這就是有名的《與陳伯之書》。書中曉之以利害，告之以危局有「將軍魚游於沸鼎之中，燕巢于飛幕之上」的名句；動之以鄉情，有「暮春三月，江南草長，雜花生樹，群駕亂飛」之佳句；而後喻之以大義。感於此書，陳伯之迫於形勢，終於帶8000兵在壽陽(今安徽壽縣)歸降。兒子陳虎牙被魏人所殺。武帝封陳伯之為驍騎將軍、太中大夫，永新縣侯，食邑千戶。
