素。
连朝廷也开始对他放心不下了，万一这种“先斩后奏”的行为在朝内蔚然成风，国家岂不失控?更何况人心隔肚皮，如果某些人手握重兵而居心叵测怎么办?
辛弃疾这样不谙世事大而化之的英雄为湖南官场所不能容，不少地方官员纷纷上书，朝廷大员也借机弹劾辛弃疾。当一个人不能与环境相融合的时候，就是时候离开了，在官场尤其如此。树大招风，颇有政绩的辛弃疾在荆湖南路看来是待不长久了。
正当辛弃疾在荆湖南路羽翼已就之时，准备将飞虎军扩充、大干一场的时候，吏部一纸调令把他调到到江西，担任隆兴(南昌)知府兼江西安抚使，荆湖南路的官员们一个个幸灾乐祸，拍手称快，在他们看来，这是为朝廷也为湖南官场除去“一害”。
杨通文在城步寨训练飞虎军仅仅一年，就具备了顽强的战力，颇有成效，飞虎军建成后雄镇一方，为江上诸军之冠。
杨通文因为和辛弃疾走得太近，辛弃疾一走，荆湖南路安抚使就立即解除了杨通文对飞虎军的直接指挥权。
杨通文忿然道：“人走茶凉，概莫如此。朝廷执意不用我杨家将，还故意打压，还怕我杨家抢了赵家的天下不成？我杨家已经出了隋文帝、隋炀帝两个皇帝了，做皇帝真有那么威风吗？当今皇上是不是疯了？”
杨通文被无缘无故地弃之不用，一下子无所适从，他对朝廷算是彻底失望了。年过四十的杨通文刚刚燃起的希望，又被一盆冷水给浇灭了。
杨通文一次次的自问：人生有多少个二十年啊？兴百姓苦，亡百姓苦，谁不希望过和平日子？可是强敌入侵，能够安宁吗？若打仗是为了换来更长久的太平，也值了！屈辱的割地、求和、赔款，苟且偷生有尊严吗？
辛弃疾调往江西以后，仕途并不顺畅，当年十一月，由于受奸人弹劾，官职被罢。带湖新居正好落成，辛弃疾回到上饶，开始了他中年以后的闲居生活。他和杨通文仍有书信往来，时刻关注城步寨的军事力量和社会经济发展动态。
如果城步苗家商贸行有商队去江西送货时，杨通文总会托人给他送去一些土特产。辛弃疾念念不忘这个老朋友，只要杨通文有什么新的经济措施，他都给予精神鼓励。因为在他看来，杨通文不是个心血来潮的人，信任想法都是经过深思熟虑的，办事稳重老成，体恤百姓，深得人心。
辛弃疾夸赞杨通文道：“城步寨自立自强，政治清明，文武兼修，仓廪充实，社会和谐，是大宋难得的一方净土。”
…。。