同“人君之度量”的见解相关联，虞世南还评论了“人君之才”与“人君之德”。《帝王略论》在评论汉元帝的时候，讲到了关于“人君之才”的问题：
或曰：汉元帝才艺温雅，其守文之良主乎？
虞南曰：夫人君之才，在乎文德武功而已。文则经天纬地、词令典策，武则禁暴戢兵、安人和众，此南面之宏图也。至于鼓瑟吹箫、和声度曲，斯乃伶官之职，岂天子之所务乎？[196]
人的才华是多种多样的，对于不同身份的人来说，亦要求具备与之相适应的才华。作为一个君主，其才能应反映在“经天纬地”、“禁暴戢兵”方面，否则将与身份不相吻合。这是提出了怎样看待“人君之才”的标准。在讲到“人君之德”时，虞世南极力称赞刘备，说：“刘公待刘璋以宾礼，委诸葛而不疑，人君之德于斯为美。”[197]他把尚礼和诚信看作是“人君之德”的两个重要方面，这无疑是从儒家传统观念着眼的，但这两条对于当时的李世民和后来的贞观之治，特别对于维系唐太宗统治集团的稳定，或许不无关系。