入主江东时间不长，且因其行事风格和某些政策，与这些盘根错节的江东世家的关系始终不算融洽，甚至有些紧张。
如今，孙坚卷土重来，兵锋直指会稽。在这些江东世家眼中，这简直是“王师”归来！对比顾如秉一方将领重伤、主公远在幽州、援军迟迟不至的窘境，孙坚一方兵强马壮、气势如虹，孰强孰弱，似乎一目了然。
于是，在周瑜大军兵临会稽郡治所山阴城下的同时，城内的暗流便开始汹涌。
一些与会稽郡守并非一心、或早已暗中与孙坚眉来眼去的世家，开始蠢蠢欲动。
第三天，当城外周瑜军发起又一轮猛烈攻势，守军疲于应付之际，山阴城的西门和南门，几乎在同一时间，被城内预先买通的守门吏卒和世家私兵联手打开！早已等候在外的孙坚军先锋黄盖所部，如同决堤洪水般涌入城中！
内应外合，城门洞开，守军瞬间陷入腹背受敌的绝境。尽管郡守和一些忠贞将领率亲兵死战，试图夺回城门或退守内城，但在绝对劣势的兵力和突如其来的背叛面前，一切抵抗都显得苍白无力。
不到半日，山阴城宣告易主。郡守战死，少数将领或自杀殉国，或率残部突围，不知所踪。会稽郡，这个顾如秉势力在扬州南端的重要支点，在坚守了不到三天之后，便彻底沦陷于孙坚之手。
而更让顾如秉一方感到齿冷和愤怒的是，在孙坚大军进入山阴城时，城内竟有不下十家颇有声望的世家大族，由族长或重要人物率领，携带着大批粮食、布帛甚至金银。
早早恭候在主要街道两旁，如同迎接主人归家一般，恭敬地将孙坚及其主要将领迎入城中，并献上所谓“劳军之物”，以表“投效”之心。
消息传开，影响迅速扩散。与会稽相邻的吴郡、丹阳郡一些本就与顾如秉政权若即若离、甚至暗怀不满的世家，仿佛看到了风向，也开始暗中活跃。
据顾如秉麾下隐秘渠道探知，已有至少三四个吴郡和丹阳郡的大家族，通过秘密渠道与已进驻会稽的孙坚取得了联系，信中极尽谄媚之词，并信誓旦旦地表示。