正当辛弃疾在荆湖南路羽翼已就之时，准备将飞虎军扩充、大干一场的时候，吏部一纸调令把他调到到江西，担任隆兴(南昌)知府兼江西安抚使，荆湖南路的官员们一个个幸灾乐祸，拍手称快，在他们看来，这是为朝廷也为湖南官场除去“一害”。
杨通文在城步寨训练飞虎军仅仅一年，就具备了顽强的战力，颇有成效，飞虎军建成后雄镇一方，为江上诸军之冠。
杨通文因为和辛弃疾走得太近，辛弃疾一走，荆湖南路安抚使就立即解除了杨通文对飞虎军的直接指挥权。
杨通文忿然道：“人走茶凉，概莫如此。朝廷执意不用我杨家将，还故意打压，还怕我杨家抢了赵家的天下不成？我杨家已经出了隋文帝、隋炀帝两个皇帝了，做皇帝真有那么威风吗？当今皇上是不是疯了？”
杨通文被无缘无故地弃之不用，一下子无所适从，他对朝廷算是彻底失望了。年过四十的杨通文刚刚燃起的希望，又被一盆冷水给浇灭了。
杨通文一次次的自问：人生有多少个二十年啊？兴百姓苦，亡百姓苦，谁不希望过和平日子？可是强敌入侵，能够安宁吗？若打仗是为了换来更长久的太平，也值了！屈辱的割地、求和、赔款，苟且偷生有尊严吗？
辛弃疾调往江西以后，仕途并不顺畅，当年十一月，由于受奸人弹劾，官职被罢。带湖新居正好落成，辛弃疾回到上饶，开始了他中年以后的闲居生活。他和杨通文仍有书信往来，时刻关注城步寨的军事力量和社会经济发展动态。
如果城步苗家商贸行有商队去江西送货时，杨通文总会托人给他送去一些土特产。辛弃疾念念不忘这个老朋友，只要杨通文有什么新的经济措施，他都给予精神鼓励。因为在他看来，杨通文不是个心血来潮的人，信任想法都是经过深思熟虑的，办事稳重老成，体恤百姓，深得人心。
辛弃疾夸赞杨通文道：“城步寨自立自强，政治清明，文武兼修，仓廪充实，社会和谐，是大宋难得的一方净土。”
杨通文被踢出了特种部队，三年守孝的期限也到了，兵部要他回原部队复职。杨通文以没有战事为借口，不愿意再回江淮前线，他看不惯军中将士慵懒、死气沉沉、一盘散沙的场面。
可在城步寨杨通文就是没有册封的苗王，要风得风、要雨得雨，虽然杨家封地不及五代时期，但方圆上千里，人口10万户，也可以一展宏图了。
杨通文和族弟杨通甫两个在某一年的夏、秋两季，亲自到潭州、岳州、衡州、邵州以及金国境内考察了市场，惊喜发现城步寨的无核蜜桔、西瓜、高山河鱼等土特产很是受欢迎，供不应求，经常缺货。
经济作物、特色养殖这两个行业很有发展潜力，于是兄弟两个对赤水峒的土质做了检测，并做了试验，土质很适合大面积发展经济作物，种出来的西瓜皮薄肉厚、个大脆甜，改良后的南丰蜜桔色泽金黄、皮薄、少核、肉嫩无渣、甜酸爽口、清香独特，这两项可以大幅度增加苗民的收人，改善他们的生活。
城步寨河网密布，纵横交错，只要修建两个大型水库，有足够的水面，特色养殖同样可行。经过与众人商议之后，“新经济方案”在杨通文的脑子里基本成型。