到了曹魏时期，匈奴单于的地位进一步降低，中原经历过严重战乱之后，户口大为减少，统治者为弥补兵员不足的情况，调动匈奴骑兵战争的现象也更常见，而且地方豪强为了填补劳动力的缺口，招匈奴人为佃户的情况也很常见。
於扶罗继位后，杀害羌渠单于的南匈奴人于是叛变，共同拥立须卜骨都侯为单于。於扶罗无力控制形式，只好前往洛阳向汉廷控诉。正赶上灵帝驾崩，天下大乱，於扶罗便率领数千骑兵联合叛军一同劫掠郡、县。然而当时百姓都聚集在坞堡里自守，於扶罗没有抢掠到什么东西，自己的部队却有不少伤亡。於扶罗本想返回匈奴，但匈奴人并不接纳，只好停留在平阳县(今山西临汾市)，后又参与诸侯混战。须卜骨都侯于次年逝世，南匈奴单于之位空缺，由须卜骨都侯的父亲代行单于之权。195年，於扶罗去世，他弟弟呼厨泉继位，率部驻在平阳。202年，袁绍病逝，其子袁尚派遣河东太守郭援，与高干、南单于呼厨泉一同攻打河东，曹操使司隶校尉钟繇围困呼厨泉于平阳，钟繇击败郭援，呼厨泉遂向曹操投降。
216年，曹操担心匈奴户口迅速增加，渐渐会难以控制，于是命令呼厨泉单于前来朝见，曹操借机把他留在邺城，派呼厨泉的叔叔右贤王去卑监理其国事务。按照匈奴传统，左贤王为单于继任者，呼厨泉当时以兄於扶罗之子刘豹为左贤王，即是准备以刘豹为单于继承人。曹操以右贤王统领国事，目的自然是离间左右贤王的关系。后来司马师当权时，左贤王刘豹的部众最盛，时任城阳太守的邓艾建议扶持去卑之子刘猛，让其居于雁门，以分匈奴之势。司马师同意。
不但如此，曹操还把南匈奴分为五部，各设立一个贵族为统帅，并选派汉人作司马监督他们。魏末，又改帅为都尉，左部都尉所领有万余落，居太原故兹氏县(今属汾阳);右部都尉六千余落，居祁县;南部都尉三千余落，居蒲子县(今山西隰县);北部都尉四千余落，居新兴郡(今山西忻州)，中部都尉六千余落，居太陵县(今山西文水)。从此之后匈奴部落组织虽然名义上虽还被继续保存着，但权力却已全部落入曹魏政权的手中，单于不过是个虚号，南匈奴汗国的政权形势就此灭亡。如《三国志粱习传》所言：“单于恭顺，名王稽颡，部曲服事供职，同于编户。”
虽是如此，但南匈奴的势力依然很强，江统在其《徙戎论》中称：“今五部之众，户至数万，人口之盛，过于西戎。然其天性骁勇，弓马便利，倍于氐、羌。若有不虞风尘之虑，则并州之域可为
…。。