天正皇帝临终前，张廷玉与鄂尔泰等同被顾命，命他日“配享太庙”。这是很大的荣耀，一般来说都是身后事才会商议这个事儿，天正皇帝的性子爱憎分明，对着张廷玉十分喜欢，在张廷玉的生前就安排好了一切。
但一朝天子一朝臣，张廷玉看得出来，永盛皇帝少年天子不太喜欢自己。儒家经典《礼记·曲礼上》早有明文规定：“大夫七十而致仕”。永盛十三年，已经76岁高龄的张廷玉以年老请辞。历经种种波折，皇帝批准了。依照张廷玉的资历与功绩，他的退休怎么也是风风光光，不想却生出无限是非，只留下一条命回家养老，而一切的祸根都源于“配享太庙”这个无上荣耀。
此时张廷玉，对富贵权位已经看得淡了。他所看重的是身后的殊荣，是历史的地位，对于配享太庙的资格自然格外在意。年迈的张廷玉也开始糊涂起来，他特意上了一个奏折，:“恐身后不得蒙荣，外间亦有此议论，免冠叩首，请上一辞以为券”。意思请永盛皇帝写个“保证书”，保证他死后能顺利的入太庙——这很明显是对皇帝的不信任。
天子十分不悦，但是念及三朝老臣，皇帝还是写了，给足了张廷玉面子。按道理张廷玉应该入宫谢恩，但终究是老糊涂了。在皇帝做出了这么多让步与许诺之后，他竟然只是让儿子代替自己前去谢恩。皇帝大怒，趁机发作：“张廷玉之罪，不在于不亲自谢恩，而在于请朕承诺。之所以让朕承诺，乃是不信朕。”“朕待群臣，事事推心置腹，而伊转不能信，忍为要挟之求。观其如此居心，岂有不得罪于天地鬼神耶！”
永盛皇帝认为张廷玉对先帝的确尽职尽忠，但对他却是两面三刀，根本没有君臣之情，荣誉拿到手就走人，准备对张廷玉进行惩罚。皇帝的谕旨送到了军机处，准备第二天颁发。当值军机章京汪由墩是张廷玉的门生，就把这事提前告诉了张府，让老张提前有个准备。谁知张廷玉又犯糊涂了，连夜进宫请罪。这下可算是炸了锅！
按常理，皇帝的谕旨第二天上午才能发到张家，皇帝的谕旨还没发，你就得到消息跑来谢罪，这分明是告诉皇帝，你身边有我的人！永盛皇帝盛怒，本想将张廷玉一办到底，但是张廷玉已成为先帝功臣的象征，削去他配享太庙的资格会让汉人大臣寒心。故而在惩治张廷玉时，永盛皇帝不得不有所收敛，下旨夺去了张廷玉爵位。
张廷玉从未受过如此打击，永盛十五年，张廷玉再次申请返乡。不过，此时永盛皇帝长子永璜刚刚去世不久，张廷玉的“不合时宜”再次惹怒了皇帝，
…。。