虞世南博古通今、能詩善文。唐太宗於治政之餘，經常與虞世南「共觀經史」。每回談到古代帝王治政得失時，虞世南必要以之諷勸太宗，使太宗大受啟發。所以太宗對侍臣們誇獎他：「我閑暇時與虞世南談古論今，我如說錯一句話，他未曾不感到惆悵痛心。他如此肯誠，令我讚嘆。你們要是都能像他這樣，天下何愁不治。」
有一年，彗星出現。太宗擔心的詢問群臣怎麼回事。虞世南引經據典的答道：「從前齊景公時有彗星出現，他問晏嬰原因，晏嬰回答說：『掘池沼唯恐不深，修臺榭唯恐不高，行刑罰唯恐不重，因此上蒼才以彗星警告您。』齊景公感到後怕，立刻修德行義，過了十六天，彗星便隱沒不見了。臣聽說天時不如地利，地利不如人和。如果不修德行義，即使獲麟得鳳，也無濟於事。只要治政沒有過錯，即使出現了災星，又有什麼損害呢！願陛下不要認為自己功高古人而得意，不要因太平日久而驕惰，只要慎終如始，就是彗星出現，也沒有什麼可擔憂的。」
太宗聽後，嚴肅的說道：「我治理國家，並無齊景公那樣的過失。然而，我只有二十，就舉兵起義；年二十四，平定天下；未到三十，即位稱帝。自以為三代以下，沒有哪個撥亂反正的君主能趕上我。當時驍勇的薛舉、凶猛的宋金剛、雄霸河北的竇建德、佔據洛陽的王世充等勁敵都敗在我的手下。後來蕭牆禍起，我又決意為安定社稷而登上了帝位，又降服了北夷。因此，我頗為躊躇滿志，滋生了自滿之心，輕慢了天下之士，這正是我的罪過啊。上天出現了災異，恐怕就是為此。秦始皇平定六國、隋煬帝富有四海，可由於驕惰安逸，一朝而亡，我又怎麼能自傲呢？每當想到這一點，不免令人擔憂！」
後來，太上皇李淵駕崩，太宗命依漢高祖的墳墓規模，隆重安葬。期限緊迫，勞民傷財。虞世南先後兩次上書，力陳厚葬之弊，勸太宗「安於菲薄，以為長久萬代之計。」終於使太宗縮小了陵墓的規模。太宗因此越發親近禮敬虞世南。稱讚他有「五善」，即「博聞、德行、書翰、詞藻、忠直，一人而已，兼是五善」（《隋唐嘉話》），肯定他是一個德才兼備的大臣，理當重用。
虞世南病逝時，太宗在寫給魏王李泰的一篇文章中說道：壩菔濫嫌胛矣倘繅惶濉Ｋ
