建康被攻破后，陈叔英趁乱逃到江西，遇到老将纪瑱残部，纪瑱遂拥立陈叔英为主。当时为了复辟南陈，二人又联络了本已经投降隋军的豫章太守徐璒等人准备伺机反隋。
当时，南陈军新降，王世积为了促使江西更多的郡县投降，招揽人心，虽然收编了南陈部队，但并没有将其完全打乱。黄牵对此很是忧虑，认为这是祸乱的源泉。但王世积却对黄牵的劝解不以为意，反而认为黄牵仗着晋王的信任，有意和他作对。此后他便将黄牵赶出了江州城，令其在城北大营驻守。
当时王世积大军的军容不整，士兵满城劫掠，引得城内百姓对隋军愤恨不已。而黄牵率军被王世积发配到城北大营，虽然尽力约束隋军，但所部与混乱不堪的王世积大军发生几次冲突，因而王世积对黄牵的忌恨更甚。