岳飞听后笑着对牛皋说道：“贤弟啊，你如今也是正四品的要员，怎可动不动就喊打喊杀的。这里又不是你领兵打仗，一言可决其生死。不过此人既然是张俊族侄，倒也不是不可利用一番。”说罢岳飞附到牛皋耳边，对其密语安顿。
牛皋听后眼睛一亮，不住点头。待岳飞说完，牛皋兴奋地说道：“哥哥之计甚妙，今次定要好好整治这厮一番不可。”
岳飞也笑着说道：“今日你我兄弟相聚，却是不能倾心相谈，你私自出城，想来回到潭州，那张博文必有诘难之语，你也不必与其争辩，暗中行事便可。”
随后牛皋简单地与岳飞用了些饭食，便出衙上马，临去时说道：“哥哥在此间小心行事，若要起事时，只需让施全知会一声，小弟定当景从。”说罢拍马出城，往潭州而去。
及至天色擦黑，牛皋方回到潭州城下，入城之后便往自己大营而去。来到营门前，隐隐约约地看到有一群人在站在门口，为首的正是张博文。此时只见张博文皮笑肉不笑地说道：“牛总管却是好大的雅兴，清早便不见影踪，至夜方还，如此擅离职守，怎可为一军之将？”
牛皋一路奔波，本就身上乏累，如今被张博文一刺，早把岳飞安顿的话忘了大半，口中自然也没什么好话出来，张口便说道：“爷爷要去何处，哪里消得你管？一个小小的团练使也敢来质问上官，若是在阵前，但这一条爷爷便可将你首级号令于军中。今日看在清河郡王面子上，不与你计较，再敢来大营聒噪，当心打烂你的狗头。”说罢头也不回往营中而去。
张博文被牛皋一番抢白，脸上青一阵白一阵，他本是文人出身，虽然也曾随张俊见过阵，但只是幕僚之中，正所谓秀才遇见兵，有理说不清，今日他听营中亲信说牛皋破天荒地未曾到营中训练大军，于是便候在大营外，一方面想探探牛皋去了何处，另一方面则是要借此事由言语上挤兑牛皋一番。但谁料这牛皋这般刚硬，竟然将他痛骂几句后便回了军营，只留下他在营门外进退两难。有心要将其拿下，但一来身份不符，二来也无什么真凭实据，三来又怕牛皋双锏，于是只能强自按下心中火气，拂袖离去。
回到府中，张博文命人治了酒菜，便与几个亲信喝起了闷酒，想到当初离开鄂州时田师中对其仔细叮嘱，让他到了潭州就好生留意牛皋行止，若有机会，便将其麾下人马夺到手中。但这几年中，他施计无数，奈何除了原本跟随张俊的行营中护军旧部外，岳家军旧部上下则是一块铁板，无论他想了多少办法，却总是无功而返
…。。