吴用便从云端跌入到了谷底。中书省的同僚们都不搭理他，甚至冷落他，有的同僚还会当他的面故意酸他。吴用有些沮丧，他知道自己出生平民，而朝堂中素有崇尚门第的风气，但是没有想到居然到身在其中居然会是这般滋味。
当初在宾县他虽然不是官员但是也是一位颇受人尊敬的先生，而如今到处看到的是他人的冷眼，办公的环境不如意，自己想要做的事情也不是一时半会能够做到，一时之间吴用的心中生出了巨大的落差。
过了几日，他抽空又来到了瑞王府给瑞王递上了自己的辞呈。
程连津也知道他会在入仕初期受些冷遇，也预料到心高气傲的吴用可能会提出回乡，但是他没有想到才几天吴用就已经写好辞呈了。
拿到辞呈后程连津看都没看直接扔进了茶炉里说道：“原来宾县人人崇敬的吴用先生竟是如此的浅薄吗，这点冷遇都抗不过去吗？“
吴用还未开口就发现自己的心思被人猜了去，满脸通红的站在原地不吭声，只是紧盯着逐渐化成灰烬的辞呈。站了半晌吴用才憋出一句话来：“我不会让宾县的百姓失望的！“
没过几天吴用便被调到了御史台，做了一名监察史，他知道这是瑞王在暗地的栽培自己，想到这里他也不想让自己的伯乐失望，更想要沉下心来做事情。
但是在御史台后吴用受到的排挤就更强烈了。之前中书省的同僚排挤他只是因为他出生卑微，可是御史台却不同了，这些御史们则对吴用多了一份憎恨之意，因为吴用的那份奏章让皇帝狠狠训斥了御史台，认为一帮吃着皇粮的御史还没有一介草民敢说敢言。
所以在吴用上任不久，各种针对他的举报信就纷至沓来，甚至还有一封是从他的家乡沅州宾县长途跋涉而来的，里面有理有据的举报吴用作风不良。经常流连在妓馆舞厅，还经常在自己的学生那里吃拿卡要，更夸张的是连哪一天去哪个学生家，这学生招待了什么山珍海味都罗列的一清二楚。
那些正在找吴用差错的御史们得到这份举报信后如获至宝。迅速将这份举报信呈给了都御使侯利赢。
吴用知道这个消息后又来到了瑞王府，直接跪倒在地说：“这次真的是要辜负王爷的抬举了，只怕我是很难继续在御史台混下去了。“
程连津问道：“这里说的都属实？“
吴用瞪大了双眼说道：“草民一介读书人怎么会做那样龌蹉的事情，草民家里的妻子也是跟草民青梅竹马，我俩情投意合，我怎会背叛自己的妻子！“
…。。