可直到十几岁的时候，家里发生了一场大变故。
俗话说人怕出名猪怕壮，正因为他父亲的名气，家财万贯，吸引了当地土匪的注意。
虽然当时楚家养的也有护院、家丁，可在一天晚上，一帮土匪强势介入，不仅打死打伤了许多护院家丁，还一把大火烧掉了楚家，楚父也因此丧命，楚家更是被洗劫一空。
后来楚母也因此事一病不起，没多久便病逝了。
经历过这个变故后，楚云飞的心智才逐渐成熟，也立下了目标，那就是从军，于是他刻苦学习，考军校、进军队，谁的枪杆子硬谁才是王道！
他爱打抱不平，痛恨土匪，就是童年的伤疤引起！
所以只杀山猫子一个，已经是莫大的让步！
另外当年土匪洗劫楚家，背后其实也有当地军阀的暗中支持，官匪一家，互相勾结！
所以他对军阀也很反感！
只是他同时又是一个乡土情结很重的人，再加上当今统一抗战，阎虽是军阀，好在不像早年混战时期一样。
因此他在黄埔毕业后，才选择加入晋绥军。
但他知道抗战一旦结束，而且早晚会有结束的一天，届时必然还会有所混乱。
所以面对大队长抛出的橄榄枝，他才会心动。
可以说，正是因为童年的伤疤，进一步促使了他想要脱离晋绥军。