辽并未立刻回军，而是藏于高平城东北的一处山林里，观察城中情形。就在半夜明月高照，间或蝉鸣的时候，张辽忽闻南边声声鸦叫，一群乌鸦在大道的荫林间飞了起来，在其下，可见如龙的黑影在缓缓出城，估计约有三千余人。而到了次日辰时，城外又有一行人大张旗鼓，奏号凯歌而来，缓缓进入城内。
张辽顿时了然，向吕布通报说，高平城中并无大军，韩遂所谓约战，估计是想牵制我军于此地，真正意图恐怕另在他处。且过不了两日，北面的斥候来报说，大河北岸似有人员往来，吕布顿时确信，在高平的只是疑兵。于是他立刻召回曹性，打算率部返回河水，先夺回颤阴渡。
四月二十日，吕布正欲拔营而行，高平凉军忽然出城北上，出现在苋麻河前，吕布便移军转向，与凉军隔河对峙。凉军见其有接战之意，便又缓缓退军，似只有牵制之意，并不敢于吕布野战。
吕布对高平为偏师的意图更为确信，以其必为虚军，无胆决战。故而待其退走后，吕布令军中各部暂时歇息，明日再行撤军。自己则卸甲饮食，早入梦乡，孰料睡梦之中，忽为一阵嘈杂的喊杀声惊醒。
他匆忙走出大营，只见南营已纵起大火，不少骑着快马的骑士，正在州府士卒间大肆砍杀，嚎叫与哀鸣此起彼伏，夹杂着箭雨在风中的破空之声。
原来，贾诩在高平设有两座大营，一座堂而皇之地置于城北，令军中老弱者驻扎其中，另一座则置于城南的弓背梁里，乃是凉军精锐所在。如此一明一暗，张辽只知其一不知其二，还道凉军在北面另有奇兵，实则凉人从设计之初，就打算倾力决战。
在白日里最后一次向吕布示弱后，韩遂领兵夜袭逢义堡，马腾、成公英等部直摧南营，继而一举击破吕布营垒。吕布自知必败，只能领数百陷阵营仓皇北逃。
至此一战，吕布军中死伤无数，被俘无算，能回到灵州的不超过四千人，关中也为之大震。吕布陇上五年之辛苦经营，可谓一夜尽毁。