到下午时分，英国远征舰队以1艘小型军舰沉没、2艘受损的代价，强力攻克了上横档炮台。至此，江中的三座炮台全被沦陷。
不过，在炮台被攻占前，躲在上横档炮台内的近二百名讨虏军士兵在3艘快速运兵船的冒死运载下，加上后面二十多艘军舰和威远炮台的拼命倾泻火力的掩护，成功逃离上横档岛，并且，在撤走之前，将永安炮台和上横档炮台存留的火炮全部炸毁，不再给敌人步步为营用炮台攻打炮台的机会！
双方的争夺焦点从上下横档岛变成了东岸的威远炮台。
横在威远炮台后方以及大虎山炮台后侧的近30艘中华帝国军舰利用射程优势，和威远炮台一道与英国舰队隔着上横档岛，开始了对射。西摩尔很是狡猾，英国舰队虽然不落下方，但他仍是不愿这样以军舰与炮台和后方的军舰硬拼，也不再试图登陆上下横档岛，果断下令英军联合舰队全部回撤出虎门口外，脱离威远炮台火炮射程以外的水域停泊下来休整。
中华帝国的近30艘军舰不敢脱离威远炮台的庇护进行追击，也跟着躲入炮台后方水域休整起来。
当天夜里，英军陆军司令罗斯将军便率领运兵船运送的首批步兵4000余人趁夜从沙角炮台东南侧的旗山处浅滩登陆，但随即便被山林中躲藏的讨虏军暗哨发现，双方发生零星的交火。英兵派出数百人试探性地出击，讨虏军守兵只有百余人不到，一番交火后不敌后撤。
但因为过于黑暗，双方均未点灯，四周又是灌木杂草，双方不清楚对方具体兵力数量，均无意发动大的战事，并未发动大的进攻，僵持下来，只是保持零星的枪击，袭扰对方，等待天亮。
罗斯却趁次机会继续让运兵船不断从后方运兵，次日凌晨运兵船运送第二批步兵3000余人再次在旗山处登陆。超过7000余名海军陆战队员和英国步兵，天一亮便从后方三门口处准备抢占三门口木桥，渡过太平水道从东面进攻威远炮台群。
天刚蒙蒙亮，距离三门口木桥不远处的牛头山上，讨虏军步兵第十六师警卫营营长荣维善正在酣睡。
他上次赶赴沙角炮台协助防守，不料还没赶到炮台，沙角炮台便已经被攻破。无奈之下，率领全营350余名将士后退撤至新湾，只留少量士兵侦查珠江岸边动静。昨天夜里，当听说英军连夜登陆时，他立刻向驻守在南山山顶上的副师长塔布齐禀报，塔布齐意识到英军必定想效仿18年前的那次攻打虎门一样的战术，从翼侧登陆分路包抄威远炮台，他又惊又喜，意识
…。。