不久，朱元璋又回到了皇觉寺。全国反元农民大起义爆发后，元兵认为寺庙里容易隐藏起义军，放火烧了皇觉寺。朱元璋在生活逼迫、处境危险和友人劝说的情况下，参加了农民起义军。1352年，他投奔到“红巾军”领袖郭子兴部下，当了一名亲兵。
朱元璋参加起义军后，由于作战勇敢，吃苦耐劳，善于团结部众，很得郭子兴赏识，也深为同伴们钦佩和爱戴，因此逐渐成为农民起义军中的领袖。
1355年，郭子兴病死，他的部众全归朱元璋统率。第二年，朱元璋率领水陆大军攻下集庆（今南京市），将集庆改名为应天。集庆是元在东南一带军事和政治的重要据点。集庆的攻占，对于进军攻占整个江南地区有着重大的战略意义。在这以后的数年里，朱元璋击溃了江南元军的主力，先后攻占了现在江苏、安徽南部和浙江的大部地区。他常常告诫部下说：“毋焚掠，毋杀戮。”他的军队纪律严明，所到之处受到人民的欢迎和拥护。
朱元璋攻下徽州的时候，召见了儒生朱升。朱升建议说：“高筑墙，广积粮，缓称王。”朱元璋采纳了这个意见。从此，他便在江南有计划地网罗地主阶级知识分子，用礼聘、威逼、软硬兼施的手段，罗致了宋濂、刘基（伯温）和叶琛等人。这些人引经据典，用孔孟儒家学说帮助朱元璋来策划建立政权。