高宗皇帝即位后清除朝中旧党，起用新人，大封群臣，忽然想到李纲此时正从长沙率兵前来勤王，于是便诏谕李纲，拜其为尚书右仆射兼中书侍郎，立即来朝议事。
高宗皇帝诏谕一出，便有中丞颜岐上奏道：“张邦昌为金人所喜，虽然如今已位列三公、名号郡王，则更当加封其为同平章事，增重其地位；而李纲为金人所恶，陛下将其命为宰相，恐怕不妥，应当在其未至时罢之。”
颜岐生怕高宗皇帝不同意，将同样的内容写成五封奏章呈到高宗皇帝面前，当最后一封奏章递上之后，高宗皇帝再也忍无可忍，于大堂之上质问颜岐道：“如朕之立，恐亦非金人所喜。朕之天下，岂可以金人好恶为断？金人不喜朕，尔等可是想改换他人？”说罢将五道奏章掷于其面前。颜岐见龙颜大怒，连忙跪地磕头求饶，声称不敢。
退朝之后，颜岐仍不死心，将那五道奏章封好，遣人送往李纲处，希望阻挡其归来。但李纲看罢奏章，将其掷于地上，说道：“一派胡言，这等奴颜之言真是污吾双目！”于是提兵往应天府面圣。
李纲不日来到应天，高宗皇帝闻其来到，遣官员迎接慰劳，并设宴招待，又将李纲召到内殿相见。
李纲见到高宗皇帝，倒地便拜，涕泗交集，就连高宗皇帝都极为动容。君臣二人相谈间，李纲说道“金人不道，专以诈谋取胜，中国不悟，一切堕其计中。赖天命未改，陛下总师于外，为天下臣民之所推戴，内修外攘，还二圣而抚万邦，责在陛下与宰相。臣自视阙然，不足以副陛下委任之意，乞追寝成命。且臣在道，颜岐尝封示论臣章，谓臣为金人所恶，不当为相。如臣愚蠢，但知有赵氏，不知有金人，宜为所恶。然谓臣材不足以任宰相则可，谓为金人所恶不当为相则不可。”
见到李纲力辞，高宗皇帝大怒，将范宗尹、颜岐二人谪贬。但李纲仍然不肯为相，高宗皇帝苦劝道：“朕知卿忠义智略久矣，欲使敌国畏服，四方安宁，非相卿不可，卿其勿辞。”
李纲闻言，顿首泣谢，说道：“臣愚陋无取，荷陛下知遇，然今日扶颠持危，图中兴之功，在陛下而不在臣。臣无左右先容，陛下首加识擢，付以宰柄，顾区区何足以仰副图任责成之意？然‘靡不有初，鲜克有终’。臣孤立寡与，望察管仲害霸之言，留神于君子小人之间，使得以尽志毕虑，虽死无憾。昔唐明皇欲相姚崇，崇以十事要说，皆中一时之病。今臣亦以十事仰干天听，陛下度其可行者，赐之施行，臣乃敢受命。”
高宗皇帝听后，说道
…。。