公元1355年3月,随朱元璋攻下建康(今南京),功居诸将先。之后,又协同徐达,转战江南,一鼓而克镇江。因战功卓著,先后升任中书省都督、马步水军大元帅等职。
公元1361年,常遇春随同朱元璋等率舟师进入鄱阳湖,与陈友谅进行了三十六天的恶战。结果常遇春射走了敌帅张定边,陈友谅也中流矢阵亡,敌全军覆没。在这次战役中,常遇春也是功勋卓著。
公元1365年7月,常遇春再同徐达攻取庐州。1367年8月,亲率全军,围攻平江。9月城破,活捉降元叛将张士诚。至此,扫平了江南群奸。加授中书平章军国重事,疏封鄂国公。
1367年10月朱元璋命徐达为征虏大将军,常遇春为征虏副大将军,各率精兵二十余万,分路北伐。1369年6月,全师围剿开平,元军又北奔,追至北河,俘其宗王三人及平章鼎住等,凯旋还师。7月7日师次柳河川,得暴疾身亡,终年仅40岁。
朱元璋闻讣大痛,立即震悼罢朝。翌日诏中书定议,追封常遇春为开平王,谥曰忠武。8月朔日,柩车至九龙。朱元璋亲往祭奠,扶灵大哭。开棺睹容,遂脱下龙袍,盖其遗体之上。后又亲为选择葬地--南京钟山北麓,至10月9日始葬,举行了隆重的葬礼。复又追封其上三代皆为开平王,并命礼部监修王陵(墓地在怀远贾村,即今常家坟),巍峨严整,雄伟壮观。从此古老的贾村便改名为常家坟了。常遇春一生为将未曾败北。自言能将十万军横行天下,军中有“常十万”之称,人们美称他为“天下奇男子”。
常遇春的生平事迹以及性格品德,曾受到明、清皇帝及历史 名人的高低评价:
朱元璋的题词是“开国元老,异姓真王”。明初大学士宋濂赞曰;“王之为人,守谦而不矜,有功而无过。筹决胜之方,不学而能。其从将军东征西伐,而能遵守节制,及其自将兵,则所至无不克捷,由其智识而才力雄,故施之各得其宜。”
《康熙御批纲鉴》记载(摘要):常遇春世为农家,赋性刚毅,膂力绝人。虽不习诗书,用兵辄与古合,故每战必胜。世人称为奇男子。
清朝乾隆皇帝的题词是:“勇动风云。”并令其嫡裔建祠于本籍永平岗。祠成,特遣制台尹继善躬诣致祭。