善，将王渊的话说与他听，征询他的意见。黄潜善知其有南逃之间，便说道：“渊言如此，臣复何辞以留陛下！”高宗皇帝以为大善，便从王渊之言，起驾去往杭州，并诏谕龙图阁直学士、知镇江府钱伯言为枢密直学士，充巡幸提点钱粮顿递，吕颐浩为资政殿大学士，充江浙制置使，刘光世为行在五军节度使，主管侍卫马军司公事杨惟忠节制江南东路军马，屯江宁府。
待得一切安排妥当，高宗皇帝立即启程，自镇江出发，经常州、平江府、秀州等地，最终逃至杭州。
而在高宗皇帝一路南逃之时，江南各处除了金军肆虐之外更有叛军横行。如御营统制官王亦驻军江宁，谋夺江宁以为据点，夜半纵火，吓得守臣秘阁修撰赵明诚缒城而逃。所幸城中江东转运副使、直徽猷阁李谟所部团民兵伏于巷中，待得兵变时鼓噪而出，击退王亦。赵明诚因临阵脱逃而被罢职。
这赵明诚乃是词人李清照之夫。当日李清照听闻赵明诚临阵脱逃，心中鄙视，后行舟路过乌江之时，回想起高宗皇帝以及如赵明诚一般的官吏，面对金人，不思抵抗，只知仓皇而逃的行径，心有所感，于是便作出首传颂至今的千古名句，名为凭吊西楚霸王，实则借古讽今，其诗曰：
生当作人杰，死亦为鬼雄。至今思项羽，不肯过江东。