常遇春成长的年代正值元末，阶级矛盾已经激化，盗匪和起义军蜂起。常遇春因不满生活现状，无法忍受饥饿的折磨，就投奔活动于怀远、定远一带的绿林大盗刘聚。刘聚见常遇春有勇力，就让他当什夫长，并引为心腹。常遇春跟随刘聚拦路抢掠，入宅为盗。起初颇觉新鲜，既能大碗食肉，又能分得银两。数月之后，常遇春发现刘聚只知打家劫舍、四处抢掠，并没有什么打算或远图，他就萌发出脱离盗群，另寻出路的念头。
至正十五年（1355年）四月，常遇春随刘聚在和州抢掠时正巧遇上朱元璋率军攻和州。常遇春早就听人说过朱元璋仗义豪侠，很有作为。他便利用在和州相遇的机会，装成老百姓观察朱元璋的行经。他亲眼目睹了朱元璋平易近人，视士卒如弟兄的作风，也看到了朱元璋的部队纪律严明，不害百姓的行为。经比较他知道朱元璋是个做大事者，刘聚仅仅是个盗匪，不能与朱元璋相比。他当机立断，决定在和州投奔朱元璋。
常遇春去投奔朱元璋时，朱元璋的态度很冷淡。朱元璋问常遇春：“你是不是挨了饿，想到我的队伍中找饭吃？”常遇春回答说：“我在刘聚手下打家劫舍，并不愁衣食，只是刘聚只知抢掠和盗窃，并无大志。我听说将军是位贤明智者，因此前来投奔，为将来的前程愿效死力。”朱元璋问：“你能跟我过江打仗吗？”常遇春回答：“将军指到哪里，我愿打到哪里，渡江之日，愿为先锋。”朱元璋见常遇春身材魁梧，体魄健壮，出语忠恳，就把他留了下来。从此，常遇春弃盗为良。 元至正十九年（1359年）七月，朱元璋攻取金华后，派遣大将军常遇春进兵攻取衢州。常遇春率部一路杀将而来，首先攻取了龙游城。他在戎马倥偬间，还吟赋《龙游道中》一诗以纪行：“策蹇龙游道，西风妒旅袍。红添秋树血，绿长旱池毛。比屋豪华歇，平原杀气高。越山青入眼，回首鬓须搔。”字里行间，流露出英雄豪气。
当常遇春率领马、步、水三军到达衢州城下时，但见城垣壁垒森严，固若金汤。常遇春率部在城下树栅栏，建奉天旗，从陆上、水上将衢州6座城门团团围住。常遇春又造吕公车、仙人桥、长木梯、懒龙爪等攻城军械，“拥至城下，高与云齐，欲阶以登城”，他又在大西门城下“穴地道攻之”。伯颜不花的斤面对常遇春部的猛烈进攻，凭借坚固的城垣，“以束苇灌油烧吕公车，驾千斤秤钩懒龙爪，用长斧砍木梯，筑夹城防穴道”，双方交战激烈，常遇春久攻不克。
后来，常遇春以奇兵出其不意地突入，毁其所架之炮，攻围甚急。元军支持不住，遣使密约投降，衢州路院判张斌夜出小西门，迎常遇春大军入城。这样，元军甲士万人，才迅速崩溃。
常遇春攻取衢州城后，立“金斗翼元帅府”，设元帅和枢密分院判官，元朝在衢统治势力遂荡然无存。 据史料记载，元至正二十年（1360年）初，朱元璋令常遇春与另一名大将徐达率重兵镇守池州防备。陈友谅统其兵众，部署袭取池州。徐达侦悉陈友谅的行动，令常遇春率精兵万人，设伏于六泉口。陈友谅兵至，全力猛攻池州城，徐达率领守军开城出击，常遇春伏兵掩其后，大破陈友谅军，斩首万余，擒捉三千，陈友谅败走江州（九江）。
西征陈友谅，常遇春再立大功。陈友谅占据上游，精兵大舰，雄心勃勃，是朱元璋开拓事业的主要威胁。至正二十年（1360年）五月，陈友谅率水军数十万直取应天，在南京城西北的龙湾与朱元璋军展开一场恶战。朱元璋以弱御强，便设计用伏，诱敌深入，常遇春奉命与冯国胜率帐前五翼军三万人设伏，为全军主力。经过一场鏖战，在龙湾登陆的陈友谅兵，遭到常遇春、冯国胜伏兵的冲杀，死伤惨重，溃不成军。正值江水落潮，龙湾水浅，陈友谅一百多艘巨舰全部搁浅，朱元璋挥水陆军并进，陈友谅大败而逃。龙湾大捷，朱元璋转危为安，并壮大了力量。常遇春大破敌阵，战功卓著，不久，升行省参知政事。
龙湾战后的第三年，1363年，陈友谅以号称六十万大军倾巢来攻，在鄱阳湖与朱元璋军进行了一场持续三十六天的决定生死存亡的水上大决战。朱元璋先是派兵封锁敌人的归路，交战中，陈友谅军船大、坚固，但速度慢，朱元璋军船小、速度快，操作灵活，两军相持，难解难分。一次朱元璋座船搁浅，陈友谅的大将张定边率船队来围攻，情况危急。常遇春奋勇当先，射伤张定边，又用自己的战船撞击朱元璋的座船，使其脱离浅滩。战斗中常遇春奉命积极组织火攻，发挥小船优势，乘风纵火，陈友谅的舰队被烧得烈焰冲天，兵将损失过半，湖水尽赤。陈友谅率残舰撤往湖口，又受到朱元璋诸将的追击和常遇春的迎头堵截。陈友谅在混战中被流矢射中死去。这场决战扭转了双方力量的对比，陈友谅覆灭，使朱元璋成为群雄中之强者。常遇春因功受赏，得金帛田地甚厚。不久，升为平章政事。
这次战役不仅恢复了皖南军事要地太平县，也使汉军龟缩于武汉不敢再犯。论功行赏常遇春功劳最大。朱元璋夸赞他说：“当百万众，摧锋陷坚，莫如副将军。”
常遇春当年设伏的地方就在今天九华山的大古岭、凤凰岭一带，并在百丈潭前留有诗文：赤汗透征袍，何如孝隐高。结庐亲冢侧，只为报劬劳。 至正二十四年（1364年）七月，常遇春先是随徐达率军攻占庐州。接着，又与邓愈会合征服江西的新淦、吉安、赣州、南安等郡县，岭南韶州、南雄等地望风降附。第二年五月，常遇春又奉命与邓愈率军攻取湖北的安陆、襄阳；十一月与徐达率军攻占了泰州。至正二十六年（1366年）八月，朱元璋以徐达为大将军，常遇春为副将军，率兵二十万东征张士诚。按照朱元璋的部署，徐达、常遇春的军队先攻取了湖州和杭州等地，翦除了张士诚的羽翼，平江（今苏州）孤立无援，经过长达十个月的围攻，平江城破，张士诚败死。常遇春以功进封为鄂国公。
至正二十七年（1367年）十月，朱元璋以徐达为征虏大将军，常遇春为征虏副将军，率二十五万大军出师北伐。当时北方元朝军事力量已经大大削弱，所以，徐达、常遇春出师三个多月，即平定山东。洪武元年四月，明军在洛阳的塔儿湾与元军遭遇，常遇春单骑突入敌阵，麾下壮士从之，勇猛冲杀，在洛水之北击溃元军五万，俘获无算，史称塔儿湾大捷。这一仗，占领了河南和潼关，夺取了陕西的门槛，为攻取元大都创造了极为有利的形势。
洪武元年（1368年）闰七月，徐达、常遇春率马步舟师由临清沿运河北上，连下德州、通州。元顺帝携后妃、太子等逃奔上都开平（在今内蒙古正蓝旗东）。八月二日，徐达、常遇春一举攻占大都，改为北平府。稍事休整即又挥军西进，攻取山西。与精锐的扩廓帖木儿军进行了艰苦的搏战，平定山西。洪武二年三月，西征军进攻陕西，元将李思齐由凤翔奔临洮，力竭投降。元顺帝乘明军主力长驱秦晋之机，命丞相也速率军向北平反扑，兵锋已抵通州。常遇春又奉命与李文忠率步卒八万、骑士一万驰救北平，元军闻讯即向北逃奔，常遇春率军追奔千里，大获全胜。为了覆其巢穴，最终解除元军对北平的威胁，常遇春又率军径取元上都开平，顺帝逃到应昌府（又称鲁王城，虎城，故址在今内蒙古克什克腾旗西北达里诺尔西）。常遇春夺取开平，全歼留守元军，缴获车万辆、马三万匹、牛五万头。 洪武二年（1369年）七月七日（8月9日），常遇春自开平率师南归，行至柳河川（今河北龙关县西），得暴病卒于军中，年仅四十岁。朱元璋闻丧大为震悼，赐葬钟山之下，并亲自出奠。封子常茂为郑国公，岁禄二千石。常茂隶宋国公冯胜北征纳哈出，不奉约束，被削爵，安置在广西龙州；又别封次子常升为开国公。建文末，以抗靖难师安置云南临安（今云南建水），忧死。
可惜，常遇春只活到40岁，就病死于柳河川。一生为将未曾败北。自言能将十万军横行天下，军中有“常十万”之称，人们美称他为“天下奇男子”。死后，被追封为“开平王”，故六泉口又有“开平寨”之称。当地村民为纪念常遇春智勇过人，还在大古岭下的在百丈潭侧建庙祭祀，当时称将军庙，庙址所在村落因此得名将军村。该庙规模壮观，翘檐飞角，庙内塑有常将军全身像。抗日战争中庙宇为日军焚毁，但村民仍保留“拜将军年”的旧俗。
