再劝阻太宗筑陵墓厚葬，使太宗有所收敛，他还严正劝阻太宗不要恣于游猎而疏于政事，这些都对当时的“贞观之治”起着积极的作用。
虞世南又上表请求辞官归居，太宗优诏允许，仍授银青光禄大夫、弘文馆学士。虞世南在长安逝世，享年八十一岁，太宗闻讯后为他在别第举哀，痛哭悲伤，下手诏给魏王李泰说：“虞世南对朕忠心一体，拾遗补阙，无日暂忘，实为当代名臣，人伦准的。朕有小失必犯颜直谏，而今亡故，朝廷上下，无复人矣！”赐东园秘器，陪葬昭陵，赠礼部尚书，谥号文懿。唐太宗命阎立本画二十四功臣图于凌烟阁，皆真人大小，虞世南名列其中，位于第二十名。
虞世南逝世几年后，唐太宗曾在夜里梦见虞世南，像平生一样。第二天，太宗下令说：“礼部尚书、永兴文懿公虞世南，德行淳朴完备，文章是辞赋的宗师，早晚尽心，志在忠益。忽然去世，转眼过了几年，昨因夜梦，忽见其人，并且进谏直言，有如平生之日，追怀他留下的美德，很增悲叹，应当供给冥钱，申明朕的思旧之情，可在他家设五百僧斋，并为他造天尊像一座。”
虞世南，善书法，与欧阳询、褚遂良、薛稷合称“初唐四大家”，日本学界称欧阳询、褚遂良、虞世南为“初唐三大家”。所编的《北堂书钞》，为唐代四大类书之一，是中国现存最早的类书之一，原有诗文集三十卷，已散失不全。
喜欢史事讲将2隋唐五代
第十五章 初唐四大家——虞世南