来，派兵袭扰南楚，搞得马殷焦头烂额。
杨再思多次规劝几个结义兄弟：“不要贪图小便宜，否则因小失大，马殷可不是盏省油的灯。”
潘金盛不以为然：“今儿不进攻，更待何时？不吃白不吃，抢了也白抢。”
昌师益道：“兄弟，怎么现在如此胆小怕事了？”
杨再思道：“人不犯我，何必犯人呢？”
杨承磊道：“哥哥不去，我们去，到时抢了好东西，你可别眼红。”
杨再思沉默了一会儿，对他们三人实在是无计可施：“随你们便吧，长此以往，我飞山族人危矣！”于是不欢而散。
公元897年，潘金盛、杨承磊置杨再思的警告于不顾，事先没有和杨再思通气，就率领飞山峒数千族人，一路杀向武冈城（治所在今城步县儒林镇）。
驻守的南楚军拼死抵抗，固守待援，给潘金盛的手下造成了很大的杀伤。为此，潘金盛大怒，下令义军架起云梯，猛攻城池。
眼看城池就要被攻破，忽然一声炮响，城外的义军被炸开了花。原来是邵州刺史吕师周率5000衡山兵杀到了，城头上火炮齐发，火箭齐射，义军伤亡惨重，功败垂成。
“撤！快撤！”潘金盛下令义军全线收缩，退至楚军的火炮射程之外。义军一口气跑了三四里，潘金盛回头一看，也没有见到楚军的半个影子，才命令部队停止退却，就地休息。
奇怪了！吕师周并没有打开城门乘胜追击。吕师周乃马殷之悍将，楚军马步军都指挥使、邵州刺史，多次与飞山峒义军交手，熟悉其战法，一旦进入山区，被伏击暂且不说，火炮发挥不了威力，只能近战，深山密林占不到任何便宜，故不追杀。
于是，潘金盛得以保存实力，退守飞山峒，全线防御。飞山，乃山峰也，位于诚州（今靖县）西郊，海拔744米。人们说山顶上三座峰是从佛教四大名山之一的四川“峨嵋山”万佛顶飞来的。
此山形如钟鼎，又似皇冠，山顶平旷，双峰突兀，直刺云天，登临其上，可收田园山川于眼底，赏清风明月于云端。易守难攻，欲攻打飞山，一般武将都无法做到。
故万历十年黎靖参将邓子龙登靖州飞山题诗曰：南来倚剑上岩尧,，满眼烽烟坐里消。神器自如无鬼蛾，飘遥何处有天骄。岩飞瀑气披深洞，风送钟声下远苗。西望六百八十穴，我欲一扫归天朝。
自此，飞山峒蛮和南楚军结恶。而潘金盛很是不服，时刻想着复仇，经常到吕师周的驻扎地周
…。。