军队的士气已经明显低落。一天死一两千人，再打两天，拔离速连进攻的军队都凑不齐了。
连战两天，金军已露败相。这一点王宵猎看得出来，拔离速当然也看得出来。不及时撤退，拔离速的这一万人，就要全交代在荆门城前了。
耶律马五道：“若要撤，我们退向何方？”
拔离速道：“实际只剩一途。就是走复州，去汉阳军，从黄州渡江。到了两淮，就无人可阻我！”
耶律马五道：“宋军守住荆门军，我们绕开就是。向东走郢州，一样可以北上。”
拔离速叹了口气：“你们难道看不出来？挡住我们的，是邓州的王观察。走他治下的地盘，岂不是羊入虎口！不但是郢州不能走，就连光州也是不能走的！不必说了，明日派军去取复州，我们在荆门城下再支持一天。到了明日晚上，大军东去！”
完颜彀英和耶律马五见拔离速去意已决，只好称是。
沉默一会，耶律马五道：“我军要撤，宋军必然来追。骑兵还好，宋军追之不及。我的后军，可是还有近两万南人挑夫，他们无法走快。”
拔离速道：“你带后卫掩护我们撤退。事情紧急时，让这些挑夫阻拦宋军，你自己逃了就好。”
听了这话，耶律马五直皱眉头。如此说，金军断尾求生，自己就是断掉的尾巴了？
见耶律马五不悦，拔离速道：“事情紧急时，抢来的财货只好不要。财货我们都不要了，那些挑夫要来何用？你只管赶他们上前，挡住宋军。就是两万只猪，宋军也要抓上两天。有这一两天的时间，你尽可以逃得远了。”
完颜彀英道：“我们渡江转战数十州，那些财货都是拼命抢来的。不知多少儿郎，还指望着带财货回家，父母妻儿欢喜。一下全弃了，他们如何甘心！”
拔离速道：“有钱也要有命花才行！现在形势如此，不抛弃财货我们就逃不掉，奈何？”
完颜彀英不信宋军能够挡住自己，本来就不同意撤退。听说要把抢来的财富扔了，哪里还能够忍得住？金军没有军俸，打生打死，就指望着抢财富回家。没有东西带回去，岂不是要被人耻笑？
完颜彀英是拔离速的亲侄子，说了几句，也懒得理他，只是安排撤退路线。决定自己与完颜彀英带精锐骑兵先行，去取复州。耶律马五在后，宋军来追，便驱赶挑夫上前，自己带精锐骑兵速逃。只要拖住宋军一天，就有足够的时间逃出生天。