不愿给他高位。常遇春顿首泣道：“刘聚盗耳，无能为也。倘得效犬马之力，某虽死犹生。”表露忠诚，“固请”，坚持请为先锋。尽管如此，朱元璋还是不肯就信用之。
直到渡江取金陵，采石之战。
“元兵置阵矶上，舟相去三丈余”，朱元璋麾下诸将皆“莫能登”。“遇春飞舸至”，架着一艘小船来到，朱元璋命之向前，“遇春应声，奋戈直前。敌接其戈，乘势跃而上，大呼跳荡，元军披靡。诸将乘之，遂拔采石，进取太平”。这也就好似“投名状”，一战奠定了他在吴军中的地位。
朱元璋乃如他早先所请，授其“总管府先锋”。“无何，进为总管”。
继而，蒙元中丞蛮子海牙“复以舟师袭据采石”，又夺回了采石矶，“道中梗”。使得吴军前后不能相接，通往和州的道路也因此而被梗塞。
朱元璋“自将攻之”，“遣遇春多张疑兵分敌势”。“既合”，两军合兵后，“遇春别操轻舸，以精兵横冲海牙之舟，分而为二”，“左右纵击，大破之，悉获其精锐”，“自是元师扼江之势衰，而南北通矣”。
投奔朱元璋的第一战，先夺下采石，打通了军队向前的道路；然后又战败蛮子海牙，挽救了吴军险些因为“道中梗”而败亡的命运。
“遂从取集庆路，功最”。
打下集庆（即金陵）后，他又“从徐达取镇江，复为领军先锋”。随后，“徐达攻常州，而降卒叛，与张士诚合而围达”，他又奉命“以师援之”，“表里共击，大破士诚”，“复为总管”，“进统军大元帅”。
次年，“克常州，迁中翼大元帅”。这个“中翼大元帅”，即“帐前五翼”之一。“帐前五翼”，乃是朱元璋的精锐。常遇春得任此职，说明他已得到了朱元璋的信任，并由此正式进入了朱元璋高层将校的核心圈子。
“寻从达下宁国，分兵取马驮沙，遂取池州”，池州之战，大败陈友谅麾下的赵普胜部，他又是“战功最”，“进行中书省都督”。又明年，“擢都督马步水军大元帅”。自采石战后，这才没几年，就做到“都督马步水军大元帅”的位置了，简直是火箭般的升官速度。
又明年，从朱元璋“取婺州”，“复有功”，“进镇国上将军，同佥枢密院事”；不久，“以其兵攻攻衢州”，“衢州下”，“进佥枢密院事”。
至正二十年，也就是去年五月，陈友谅大举进犯。
常遇春先是“从达守池州，大破陈友谅之众”，“斩首万馀级，生擒三千
…。。