结交的过程中，随着与越来越多的党人接触，难免的他也就越来越受到党人的影响，遂渐渐地就以诛除宦官为己任了。
实际上，汝南袁氏与宦官的关系一向是不错的，要不然，袁氏也不可能在两次党锢之祸中安然无恙，并且贵重於世。当然，袁氏与宦官的关系不错，并不是说他们依附於宦官，他们与党人、名士的关系也不错，如果袁氏依附宦官，是阉党之一员，与党人、名士的关系不好，那么袁绍就算想与党人结交，党人、名士料来也是不会理会他的。
左右逢源，谁也不得罪，这是袁氏在朝中的立身之本，也是袁氏能在历次政治斗争都安然无事，一直贵重的主要缘故，而如今却出了袁绍这样一个“逆子”，与党人往来密切、蓄养剑客死士，在袁氏家族内部，原本在最初的时候，袁绍的生父、从父们对此是不赞成的，所以当听说赵忠说“不知此儿终欲何为”后，袁隗就马上把袁绍叫来，当面训斥他。
可袁绍已经在诛除宦官这条路上走得太远了，受党人、名士的影响太深，已经把诛灭宦官当成了己任，那么自然对袁隗之训斥不当回事儿，而又因为袁氏一向虽与宦官的关系不错，与党人、名士的关系也不错之缘故，他虽不听袁隗的话，袁隗却也对他无可奈何，总不能强令他不得再与党人交接，这个命令如果一下去，传出去，袁氏的家声就要毁了。
袁绍既存了诛灭宦官之志，又重名声，且知道名声在当下的重要作用，所以在看到朝中宦官势大，不可轻易除之的情况下后，他即以为袁成服丧为借口，辞官不做，在家服孝，随之又为他去世的母亲服孝，一连在家待了六年，这六年，既是他“养望在野”之时，也是他观察朝中、天下局势，以待机而动之时。
连服孝六年，这在当下来说是极其罕见的，尤其像袁绍这样的公族子弟。
公族子弟要出仕是很容易的，比如袁绍，他二十岁时就已经是县令了，如不耽误这六年，以他的家世，就算不能升迁到二千石的太守国相，至少也能在朝中为一有实权的千石之吏，可他却能耐得住寂寞，却肯在年轻气盛、年轻人渴求富贵的时候不入仕，而且他的服孝还是严守礼节的服孝，穿粗衣服、住简陋的屋宅，饮食简单，这很不容易，一个出身公族、从小就锦衣玉食、正值气盛之年的年轻人能做到这一步，一下就得到了天下士人的交口称赞。
但是这还不够，服孝六年之后，袁绍发现宦官依旧势大，而他本人的名望也因为他到底年纪还不算太大之故而没有达到可以得到天下党人、士子拥戴的地步
…。。