他派人去把柴绍夫妇找来。
柴绍在李家有点被排挤，一个很重要的原因就是他得罪了李神通家族，原因是柴绍的妹妹嫁给了李神通的儿子李孝义，柴家给的陪嫁是广利酒行，长安最大的酿酒商家，这是李渊赏给柴绍的，柴绍给了妹妹。
去年柴绍的妹妹因难产去世，孩儿也没有了，加上李孝义本身是个花花公子，对妻子很不尽心，没有请产婆对妻子进行各种胎位矫正，导致最后出事，所以柴绍对妹妹难产去世自然也极为不满。
虽然李家对柴绍妹妹不尽心，但对广利酒行却很上心，按照惯例，妻子去世，陪嫁要还给了妻子娘家，但李家不肯还，柴绍也不肯让步，这个官司就打到了李渊面前。
李渊最终还是维护了家族的利益，判决把酒行给了李孝义，理由是酒行并非柴家祖产，柴绍妹妹嫁给李孝义的同时，酒行产权就归了李家。
如此偏心的判决让柴绍心中不满，但也没有办法，从此柴绍和李神通家族翻脸。
其次还有军权的争夺，柴绍本来出任武侯卫大将军，掌握一万军队，这一万军队是他和妻子招募的。
结果在李神通兄弟的怂恿下，李渊便任命柴绍为吏部尚书，把武侯卫大将军给了李神符，等于剥夺了柴绍的军权。
柴绍妻子李三娘在父亲面前哭诉一通也没有，还被父亲严厉批评她不识大局。
柴绍出任吏部尚书才三个月，朝廷便解散了，柴绍的吏部尚书没有了，李渊也没有给他安排新职，柴绍便一直失业在家，俸禄也没有，夫妻二人就靠三家店铺的租金度日。
这会儿，李渊终于想到了柴绍。