胡璉突出重圍後，遇到了第十八軍未被包圍的騎兵，先逃到蚌埠，後去了南京，開始了與黃維完全不同的人生。黃維在南平集附近的周莊被俘。
中原野戰軍聯絡部長楊松青動員十二兵團的高級將領給被圍在陳官莊的杜聿明、邱清泉寫勸降信。八十五軍的參謀長陳振威寫好了信，請各人簽名，只有黃維不簽。
一個年輕的新聞記者採訪黃維：「你為什麼不早些投降。」
黃維把桌子一拍，大吼起來：「有戰死的烈士，沒有苟活的將軍，我為什麼投降。為了國家民族利益，我要戰鬥到一兵一卒……」
黃維和杜聿明、宋希濂等人一起被關在位於北京德勝門外功德林路一號的功德林戰犯管理所。初到功德林時，黃維抱定「不成功便成仁」的決心，「君子不事二主」。「管教人員」曾撰寫回憶文章說：他認為自己所以成為階下囚，就是因為打了敗仗，「抗戰勝利時共產黨也尊稱蔣先生是人民領袖，失敗了就罵他是獨裁者」。「大家說抗戰結束後蔣軍搶奪勝利果實佔領根據地時，他說國軍是當時合法政府治下的正規軍隊，只要在中國的領土內，去哪裡都是合法的，阻撓軍隊進駐就是叛亂」。而且，對其他認罪悔過的戰犯，還大肆譏諷挖苦。他對監獄睡覺不許關燈的規定也非常不滿，大罵沒有人性。當時功德林戰犯管理所裡既有國民黨戰犯也有日本戰犯，日本戰犯享受不用勞動優待。黃維就大罵：「我們再有罪也沒日本人罪大，憑什麼日本人可以待著，我們就要勞動。」
對於父親的這些言論，黃慧南說，「以前沒有問過，不知道父親是不是這樣說過，但是父親是個不服輸的性格。」
有同期戰犯回憶說，在戰犯管理所，黃維走路始終挺著腰桿，將軍風範絲毫不失。他還留起了鬍子，自稱「在國民黨時期留的鬍子不能在共產黨的監獄裡剃掉」。在隨身的本子上寫下了于謙的《石灰吟》和文天祥的《正氣歌》自勉。
當時監獄規定每個戰犯要讀一些指定的學習書，並結合自己的罪行談讀書體會，杜聿明讀了《論持久戰》，寫下萬餘字的讀書筆記，並且要求把自己的讀後感寄給蔣介石，而黃維卻拒絕寫任何悔過書，他說自己「無罪可悔」，唯一慚愧的是十幾萬大軍在自己的領導下潰敗，所以黃維在戰犯和管理人員眼裡是「拒絕改造」的典型。
1952年的一次學習中，學習組長董益三宣讀材料說：「四大家族控制了中國所有的銀行，將全國人民的財產盤剝到自己手裡時」，黃維回應說：現在全國只有一家中國人民銀行，又受到共產黨毛澤東的領導。是不是可以說現在全國人民的財產都到毛澤東一家的手裡了。為此，戰犯們群情激奮，黃維又口不饒人，董益三等便動手打了他，黃維也不肯示弱，結果雙方打成一團。「後來，董益三和父親都在政協工作，他們有時候會坐同一輛車回來，父親從來也沒有跟我提過這件事，父親也不會把這件事放在心上的。」
44歲的黃維在功德林戰犯管理所「鬥爭」的時候，他並不知道家人在外面急切地等待著他的消息。
在這期間，蔡若曙帶著四個孩子離開住了兩年的臺灣，在香港住了一年後，回到大陸定居上海。「在工作之前，我媽因為字寫得很漂亮，經常去街道、居委會幫忙出黑板報，做些抄寫登記工作。幾個月之後，媽媽通過自己的努力考上了一份上海圖書館的工作，雖然是特殊的身份但還是通過了政審。」黃慧南相信，母親執意悄悄會大陸那次，應該就和大陸這邊建立了某種聯繫，並獲得大陸方面的承諾，於是她便鐵了心要等父親回來。
