回朝之后，杨广对他的几个儿子都大封特封，我想等到有一天杨素的功劳实在太大，杨广已经没有东西可以赏给他了的时候，该怎么办呢？这大概就是盛极必衰的道理。
由于杨广的猜忌心，我被杨素打了一顿的事他早就知道了，据丁程和韦挺的描述，杨广十分生气，不过他生气并不是单纯因为我被打了。
“朕命你监督粮草，委屈你了。”杨广又单独召见了我。
我其实很不喜欢这种单独召见，这样会让其他人觉得我和他之间有什么不可告人的秘密，就像以前他做太子的时候和杨素暗中往来一样。
我拱手道：“为陛下分忧，微臣有何委屈呢。”
杨广沉着声道：“听说你在杨素帐前挨了打？他不知道朕宠信你吗？他敢动你，是不把朕放在眼里了？”
我听了这势头不对的话，恭声道：“军法如山，越国公依法行事，还望陛下体谅越国公的公正之心。”
“让朕体谅他？哼，如今他又立了功，只怕越来越不把朕这个天子放在眼里了。”他有点生气，但还是矜持地没有发作。
我又道：“不过……微臣在受罚之时，越国公对微臣说了几句话，微臣不知当讲不当讲。”
杨广大袖一挥，“但说无妨。”