有时还会在夹城相遇。玄宗生活优裕，地位崇高，看似享尽天伦之乐，实则危机重重，免不了肃宗的猜疑。
玄宗对杨贵妃之死耿耿于怀，他从成都回来后就派人去祭悼她；后来又想改葬，遭到宦官李辅国的反对。
兴庆宫由玄宗原来当藩王的旧宅改建，位于坊市之中，最南面的长庆楼就紧挨着大道。玄宗闲来无事登上长庆楼，全城街景历历在目，楼下过往的士民常在楼下高呼万岁。玄宗一听心里高兴，也会挥手致意，甚至摆下酒席，请老百姓到宫中一聚。
玄宗整日与外人来往，实际上已对肃宗形成威胁。你都退休了，还和朝中官员交往甚密，意欲何为啊？
肃宗看在眼里，嘴上不说，心里肯定不放心。这时，宦官李辅国就对肃宗进言，太上皇结交外人，陈玄礼、高力士更是日夜图谋不轨，对陛下不利，不可不防啊。言外之意，要提防唐玄宗复辟。
李辅国与唐玄宗早就有过节，他出身闲厩马家小儿，相貌奇丑无比，本是高力士的手下，不得重用，被打发到太**中。后来他扶持李亨上位有功，又是新君心腹，就此青云直上，早想对轻视自己的玄宗一党展开清算。宦官掌握兵权、左右朝政，正是自李辅国开始。这么一个睚眦必报的小人，正好可以帮皇帝干脏活。
李辅国向肃宗建议，兴庆宫建在市井之中，宫墙低矮，不适合太上皇居住，不如请他老人家到太极宫居住，那里深宫大院，戒备森严，又可杜绝小人蛊惑，岂不两全其美。
太极宫与兴庆宫的情况可谓天壤之别。太极宫位于大内之中，北面是禁苑，南面是朝廷办公场所，东面是太子的东宫，西面是宫女住的掖庭宫，几乎与世隔绝，玄宗到那儿表面上备受优待，实际上如同软禁。
唐肃宗什么反应呢？史书说，“上不听”，也就是犹豫不决。
李辅国在宫中多年，知道上司不明说，不代表不同意。他先出手试探肃宗的真实意图，假托敕令，命人从兴庆宫取走290匹马。马是战略物资，打仗必备，当然不能放心交给玄宗。兴庆宫本来有300匹马，一下子就剩下10匹，玄宗看着空荡荡的马厩，无可奈何地对高力士说：“吾儿为辅国所惑，不得终孝矣。”
肃宗对李辅国越权的举措，没有任何表示，基本上已是默许。李辅国见状，更加胆大妄为。有皇帝撑腰，这事儿就好办了。
上元元年（760），李辅国派人到兴庆宫传话，说肃宗请玄宗到太极宫游玩。玄宗不敢拒绝，随李辅国走到睿武门，突
…。。