一顾。
完颜亮将他的姿态看在了眼中，阴阳怪气的说了些话——「卿确实有宰相之风，刚直不阿，不可一世，可惜了！你本有大好的机会，能有徒单太师（徒单骊柔的父亲）那样的地位，你却识人不清。」
「圣上笑言，臣愚钝，只愿居一小小官职亦足矣，圣上有太师与乌古论宰相辅佐，必会将我大金带向繁荣。」
皇帝思考片刻，逐而笑起:「既如此，你便除中兴少尹吧！」
李石乃辞去，任了几日的中兴少尹。
后来，他思来想去，所知皇帝忌惮宗室，亦对往事耿耿于怀，此番若长期在京任职，稍有不慎便会受到皇帝的排挤，还不如辞官而回故里。
他亦是想计划一件大事，便上表请奏，因病托疾还辽阳。他佯作憔悴几番上朝，再拜托宰相在皇帝面前说话，皇帝乃允，令他携家眷返回故里辽阳，与旧亲团聚。
但皇帝不知道，这是李石的一次以退为进的计谋，因为恰逢张玄素迁东京路都转运使，张玄征也回了辽阳——「回辽阳，只是障眼法，玄素兄任东京路都转运使，玄征也回了辽阳，老夫回东京，这般，张家和李家都屯结在了辽阳，长姊（李洪愿）也将渤海刘家的人拉拢了许多，便只待……只待大王的一个机会。」
「虽大王为清雅那丫头置气，但他依旧是我的外甥，我要一步步助他完成大业，我李家，要做大金的支柱！」他在灯下这样与奎可说的。
于是不日，他便装配好了所有东西，前往东京辽阳与长姊李洪愿团聚。