一边，在接下来的京师保卫战中，兵部尚书于谦却以几近一己之力而挽狂澜于既倒，这就给世人心中留下了一种关键时刻还得靠文官的印象。所以景泰帝登基后，以于谦提督京营，兵部地位开始飞速崛起，而五军都督府的权力开始逐步削弱。
景泰年间，每遇重大军事行动，朱祁钰都会跟于谦商议，并且卫所将领的选拔和更替、卫所士卒的操练都被收归兵部，五军都督府的权力就只剩下了管理军户户籍和屯田等，兵部地位已然崛起。
英宗复辟后，虽然通过废除于谦所设团营、召回天下镇守文官等办法打压兵部，但是随着石亨以图谋不轨被诛，大明终于彻底由文武并重转向为重文抑武。
到了成化、弘治年间，连管理军户户籍的权力也被收归兵部，五军都督府彻底沦为一个有名无实的部门，都督府里的各种左、右都督几乎都成了某种意义上的赠官、挂名。
“凡在京在外武职袭替优给，都司卫所呈送该府，过送兵部奏请定夺。后行奏俱改属兵部。”
五军都督府乃至于皇帝本身也不是没想过挣扎一下。譬如正德年间，武宗就通过宠幸武将江彬、设立两官厅的办法打压兵部的地位，但是……武宗随即就驾崩了。他究竟是不是“被驾崩”，后人已经无法证明，总之造成的结果就是：一切努力都化为泡影。
如此，到了嘉靖年间，五军都督府仅剩的管理军户屯田的权力也被收归户部，五军都督府完全成了一个可有可无的部门，五军都督府的左、右都督也彻底成为了武将的荣誉职衔。此后，凡遇征战，武将都由挂兵部职衔的巡抚或总督节制，当然像高务实这样的经略以及更往后出现的督师，那就更胜一筹了。
“凡天下将士兵马大数，荫授、迁除与征讨进止机宜皆属之。十三年，分大都督府为五军都督府，见若以为品秩如其故者，而兵部阴移之，其权渐分矣。所谓五都督者，不过守空名与虚数而已。”
以高务实之所见，五军都督府的衰落有其必然性，纵然他站在后世人的立场来看，这种衰落趋势本身也是不可避免的，无非是时间早晚罢了。
秦汉以后的历朝历代并没有严格划分过武将和文官，统治者对大臣最为看中的其实是文武兼备，例如唐代甚至还有边帅立功后要入朝为相的惯例。在这种情况下，明代五军都督府权力的削弱和兵部地位的崛起，本来是不会出现任何问题的。
宋代以后，为了防止藩镇割据局面的出现，才有了明确的文官和武将的划分。但是，文官看待战争更多的
…。。