羞耻事”还流传后世。最终把老实人高若讷骂毛了，把欧阳修的书呈给朝廷，欧阳修就此被贬为夷陵县令。谏官是有特殊地位的，欧阳修这样骂自己爽了，受到的惩罚就特别重，到夷陵可不是知夷陵县事，而是夷陵县令，直接贬到选人行列去了。
此后又有另一个天不怕地不怕的狂人蔡襄写《四贤一不肖》诗，接着骂高若讷。不过蔡襄出身大族，背景深厚，最终安然无事。而欧阳修此时已经跟他的第一个岳父胥偃因为立场不同而闹翻，这个时候可就没人帮他说话了。
这一场政治冲突因范仲淹上《百官图》而起，本来并不大，最后闹成一场巨大的政治风波，固然有范仲淹不妥协的原因，但也正说明了此时朝堂内部斗争激烈到了什么程度。
（备注：范家和吕家真正结仇就是因为这一次风波，但对于当事人来说，范仲淹和吕夷简并没有成为死对头，他们很大程度上还只是因为政治争端，不涉及私人感情。历史上后来西北乱起，两人还自比唐时郭子仪和李光弼，握手言和。但此次被贬出京，范仲淹的原配李夫人因为旅途劳顿，积劳成疾去世，却让范仲淹的儿子再也不能原谅吕夷简。偏偏不管是范仲淹还是吕夷简，家庭教育都非常成功，儿子一样都位至宰辅。结果就是吕夷简的子孙以自己家里存的范仲淹书信为证，说两人晚年和好，范家则坚称那些书信是吕家伪造的，因为母亲的死，父亲是无论如何不能原谅吕夷简那个奸贼的。欧阳修写范仲淹的墓志，有两人和好的内容，并坚持是自己的亲身经历，不肯修改。范家就把墓志的这一部分凿掉了，与欧阳修的关系也变得冷淡。因为此事，甚至引起富弼、韩琦和欧阳修等等当时亲历者的矛盾。加上这些备注，是说明当时的情况绝不是像后来说的那样黑白分明，范仲淹是大忠，吕夷简是大奸，其实实际情况远比这样的认识复杂。历史本来就是如此，在后人的眼里只剩下黑白两色，但本来其实是彩色的。）