只不过此宴之后，李药师在江南的优游闲适，很快便要结束了。
然他平生之所愿，乃是开捭盛世，并非享受安逸。
此时他在江东，已经做到“兴教化、安百姓”；下一步便要进入中央，去实现“富国家、强社稷”的理念了。
李药师离开江东之后，未再回来任职。
然而他的善政深植民心，当地百姓在今日的安徽芜湖、江苏镇江、浙江湖州、浙江安城等地，都建有李卫公祠、李卫公庙，以卑恒久膜拜祭祀。
李药师善治扬州期间，长安并不安宁。
就在他夫妻谈论，与李世民友好的刘世让、杜伏威均遭翦除的同时，中枢发生兄弟阋墙事端。
武德七年六月，豳州玉华山的仁智宫修成，皇帝前往避暑。
李世民、李元吉随行，李建成则留守长安。
李建成令庆州都督杨文干招募骁勇，输运盔甲。
负责输运的属官却向皇帝告密，谓太子谋逆。
同时又有宁州人上参，谓李建成从罗艺处调突骑三百人，补实东宫诸坊。
李渊震惊，召李建成至仁智宫觐见。
李建成大惧，叩首不已，涕泣谢罪求恕，痛悔几至晕厥。
李渊怒将李建成扣押，同时急遣宇文颖飞骑传召杨文干。
宇文颖与李元吉有私交，向他密报。
李元吉大惊，密令宇文颖将李建成遭到扣押之事告知杨文干。
杨文干得到消息，当即起兵。
李渊召李世民平叛，然李世民尚未抵达庆州，杨文干已遭僚属诛灭，宇文颖也在乱中被杀。
事后皇帝却将此事定位为“兄弟不睦”，命李建成回长安留守，而归咎于东宫掾属王珪、韦挺，以及天策府掾属杜淹，将他三人流放巂州。
此一事件后世论者甚多，认为颇有天策府或齐王府在背后操作的痕迹。
然李世民终究成为天子，史书“为尊者讳”，多将此事归咎于李建成。
《资治通鉴．考异》则引刘餗《隋唐嘉话》，以史笔备录，谓在正史的记载之外，尚有“人妄告东宫”之说。
当时李药师远在扬州，对于此事内情，实也并不清楚。
一波未平一波又起。
刘世让被杀，突厥除却忌惮，对于北境的寇掠便比已往更为频繁。
李世民奏请于并州屯田，虽为朝廷樽节输运粮秣的开支，却无法制止突厥入侵。
…。。