胡宗宪在离开宁波城的时候，交给守城心腹将领一封信，对他说道：“戚将军要是来到了宁波城，你就把这封信交给他。”将领得令道：“是！”胡宗宪去福建时，带走的是戚军队伍包括步兵和水师。
他自己的明军队伍却留在了浙江等地。戚英夫妇来到宁波城找军队，却发现戚军队伍不见了，于是去找胡宗宪。
守城的明军将领说：“胡大人被调往福建打倭寇去了。”戚英惊讶问道：“他把戚军都带走了吗？”将领拿出信回答道：“是的，胡大人叫我把这封信交给你。”戚英急忙拆开信，只见信上写道：“戚英呐，我带领戚军去福建平定倭患，江浙很可能会再起倭患，建议你抓紧时间调广西狼兵来浙江，以备不时之需。”戚英看完后把信交给唐萱看。
唐萱看完信后惊讶道：“胡大人把戚军调走了怎么不给我们说一声呢？戚军不是团练军吗，哪能不尊重你的意见说调往就调走呢。”戚英眉头一皱解释道：“可能是他真的需要戚军去打倭寇吧。”唐萱不理解道：“他的明军也能打的呀，不然长江两岸那么多失地怎么收复的？再说他掌管的士兵比你多，为啥偏偏带走的是戚军呢？”戚英疑惑道：“是呀，他的兵明显比我多呀，大部分都留在江浙了，为什么要把我的兵带走呢？”唐萱埋怨道：“是的，要带走也派人通知我们说一声嘛，让我们有个心里准备。”戚英问将领道：“你知道胡大人在福建哪里吗？”将领回答道：“这个就不知道了，现在福建倭寇猖獗，胡大人带兵四处奔走，每个地方都呆不了几天的，我劝你还是不要去福建找他了。”戚英抚摸眉毛道：“这个有点为难我了吧，我不就没兵了吗？”将领提醒道：“不好意思戚将军，胡大人提醒我说，劝你利用关系调广西狼兵来这里。”唐萱不理解道：“浙江倭患不是平定了吗，干嘛还调广西狼兵过来？”将领回答道：“这个我就不知道了，我该说的话都说了。”戚英夫妇黯然离开了宁波城。
唐萱问道：“我们现在该去哪里？”戚英想，去福建找回戚军行不通，因为胡宗宪正在利用戚军打倭寇，于情于理胡宗宪做得没有错，毕竟戚军战斗力还是出众的，他带走戚军确实有理由。
国事排在第一位，要回军队放在第二位，戚英觉得不应该这个时候去要回军队。
再说胡宗宪正在率军追击倭寇居无定所，福建那么大又是山路又是水路，真过去找他一时也找不到。
他想到还有一个落脚地，说道：“找到军队就不怕严世蕃，现在军队找不到了，还是去天台山躲避躲
…。。