肃宗取玄宗而代之是战时的需要。公元757年，唐玄宗回到了长安。起初过着无所事事但尚算自由的生活。肃宗与李辅国都怕玄宗复位，因此在肃宗的默许下，李辅国对玄宗步步紧逼。先是把玄宗喜欢的三百匹马收回大半，仅留下十匹；然后强令玄宗迁到皇宫内宫，留下几个老弱病残之人伺候玄宗；又把对玄宗忠心耿耿的心腹太监高力士流放，强令玄宗的亲信官员陈玄礼致仕。这样，彻底成了孤家寡人的太上皇唐玄宗在寂寞、凄凉中走完自己的一生。肃宗曾数次想看望重病中的玄宗也因李辅国的阻挠而未成行，李辅国权势之大由此可以想见。
李辅国大权在握，天下大事几乎全决定于李辅国，朝臣所奏之事往往先经他手然后才告知肃宗。为了更准确地了解朝中大臣的动向，李辅国还专门派几十人负责监督官员的一举一动。对于不顺从的官员加以严厉打击。李辅国根据自己的好恶处治全国的讼案，并以皇意相标榜。地方上的节度使也是李辅国一手委派。李辅国权倾朝野，宰相及朝中大臣想见皇帝都须经过李辅国的安排，皇帝的诏书也需要李辅国的署名才能施行，群臣不敢提出不同意见。李辅国出行时，气势之大无与伦比。出于对李辅国嚣张权势的敬畏，宗室贵人也以“五郎”尊之，当时的宰相李揆更称李辅国为“五父”。也有一些正直之士不耻李辅国的行为，宗室李岘多次对肃宗陈说李辅国的违例行径。肃宗虽有所警觉，但在李辅国的操纵下，还是把李岘贬官出京。一手遮天的李辅国企图做唐朝的第一位宦官宰相。此举遭到了宰相萧华的激烈反对。李辅国怀恨在心，多次在皇帝面前诬陷萧华，并威逼皇帝用自己的亲信元载取代了萧华的相位，最终将萧华逐出京城。