三年后，即1957年，陈诚被推上宦海生涯的巅峰——当选为国民党副总裁。翌年，由于“行政院长”俞鸿钧遭弹劾而辞职，蒋介石再次让陈诚领衔“组阁”。这样，陈诚身兼“副总统”、“副总裁”和“行政院长”三个要职，成为台湾位居蒋介石一人之下、千万人之上的真正“二号人物”。
陈诚的一路升迁，既得益于他出身黄埔系、浙江派，更得益于他30多年跟随蒋介石出生入死，无怨无悔，特别是对蒋介石的忠心耿耿，使他早已成为蒋介石最重要最可靠的亲信，正如蒋介石所说：
“中正不可一日无辞修。”
但蒋介石终究是要把权力移交给儿子的，逃台后政治上的关键一步就是培植蒋家第二代。但蒋经国资历尚浅、年纪尚轻，要想顺利过渡，完成权力交接，首先要有元老级的重臣为蒋经国保驾护航，蒋介石选中的“首辅”便是陈诚。
在台湾政权机构中，“行政院长”是仅次于“总统”之后的第二个实权职务，历来令人瞩目。对蒋家王朝忠心耿耿的陈诚于是成为了太子蒋经国的“辅政大臣”，直到1963年年底，鉴于陈诚身体健康日益恶化，蒋介石才同意陈诚卸任疗养。