贫苦农民家庭。至正四年(1344)，逢大饥疫，父兄相继去世，遂入皇觉寺为僧。后游食庐州(今合肥)、光州(今河南潢川)、汝州、颍州(今安徽阜阳)等地，历三年复返寺。
十一年，元末农民战争爆发。
次年，参加农民起义军郭子兴部，初为亲兵，后升九夫长。英勇善战，才能出众，被郭招为婿。
十三年，升为镇抚，旋与徐达、汤和等南攻定远(今属安徽)，计降驴牌寨地方武装3000人。夜袭元将张知院于横涧山，收精壮2万，严加治理。后率兵克滁州，拥众3万余，号令严明，军容整肃，甚得民心。
十五年春，率部克和州(今和县)，奉命总领诸将。
时元军10万来攻，朱元璋守城三月,屡用计败之。郭子兴卒后，统其军,被小明王韩林儿授为左副元帅，奉宋龙凤年号，以令军中。接纳巢湖反元武装首领廖永安、俞通海所率战船千艘归附，遂建立水师，于六月率军渡长江,克太平(今当涂)，俘元万户纳哈出。
设太平兴国翼元帅府，自掌元帅事。
十六年三月，挥军进克集庆(今南京)，迫元水军元帅康茂才等降。改集庆路为应天府，以此为中心建立基地，命将士四出，徐达东取镇江(今属江苏)，邓愈南克广德(今属安徽)。
设江南行中书省，自总省事，被拥为吴国公。
随后，乘北方红巾军与元军主力激战之机，采取固守东、西战线,出击东南元朝统治地区的方略，逐次消灭孤立无援的江南元军。
十七年，亲至宁国(今属安徽)督战，俘元兵十余万，遂取南陵、泾县、徽州(今歙县)、长兴(今属浙江)等要地，阻止江浙周政权首领张士诚向西扩张。
次年，命邓愈率军取建德,俘元兵3万。
于应天设立管领民兵万户府，寓兵于农，令农时则耕，闲则习武，有事则战。主张兵不贵多而贵精。又采纳儒士朱升“高筑墙,广积粮，缓称王”的建策，加强基地建设，逐步壮大实力。
率将士10万克婺州(今金华)，俘元将帖木烈思等,设浙东行省,以巩固新占地区。
十九年，分兵攻取池州(今安徽贵池)、诸暨(今属浙江)、处州(今丽水)等地，遂西与长江中游汉政权首领陈友谅辖区相邻。二十年，招纳刘基、宋濂等人为谋臣。
采纳刘基建议，确定先灭陈、后攻张、统一江南、再北上灭元的方略，置主力于西线。乘陈友谅率舟师10万自江州(今江西九江)东下占太平、采石(今安徽马鞍山西南)，直逼应天，朱元璋采取诱敌深入、伏兵围歼之策，大败陈友谅军于龙湾(今南京下关一带)，俘7000余人，获巨舰百余艘，乘胜复太平，克元安庆(今属安徽)、信州(今江西上饶)等地。