安那些义勇，从而重新控制住城内的局势，这样他们就不得不考虑撤退的事情了。
他们手上可靠的力量加上那些丰臣遗党，也不过就三百来人。要是失去了大阪市民的支持，那么他们除了逃回船上去，就没有第二种选择了。
在李晨芳警告下，郑香终于清醒了过来，两人在一边商议了许久，决定由郑香带着佐佐木次郎和两个义勇中队巡视城内的各町。一边纠正某些义勇的不当行为；一边镇压那些从三之丸跑出的武士，并监视城下町东面通往三之丸的东大门玉造口。
李晨芳继续坐镇南门，李五郎则带领一个中队和两个义勇中队前出至三之丸西大门前，监视三之丸内官军的动向。
之后城内的局势让李晨芳感到了安心，他猜测的最坏局面并没有出现，这些散开前往各町的武士们，除了寥寥几人在街头号召町人出来对抗义勇，大部分武士直接就返回了家中自保。
不少武士看到自家并没有受到义勇队骚乱，反而受到了保护，于是向义勇队表示愿意在家中闭门不出，不干涉忠长殿下和将军宠臣酒井重澄之间的战斗。
还有一些较有声望的武士则在佐佐木次郎的劝说下，出面维持住了武士屋敷的秩序，不让某些年轻武士出门攻击义勇队，和忠长殿下作对。
当临近黄昏时，三之丸西大门被攻陷的消息终于传到了南门来。李晨芳手上还保留着三个中队，不过义勇中队又再度扩张到了12个。
此时不仅城内的城下町已经被义勇们牢牢的控制住了，城外一直观望事态发展的各町首领，在看到忠长殿下的人马真的开仓放粮之后，也一个个的跑来向李晨芳效忠了。
不管是为了他们这只队伍撤退时的安全，还是继续冒险夺取大阪城的功绩，都让李晨芳不得不决定抽调各町的青壮义勇进入三之丸，进攻二之丸和本丸去了。