不久,朱元璋又回到了皇觉寺。全国反元农民大起义爆发后,元兵认为寺庙里容易隐藏起义军,放火烧了皇觉寺。朱元璋在生活逼迫、处境危险和友人劝说的情况下,参加了农民起义军。1352年,他投奔到“红巾军”领袖郭子兴部下,当了一名亲兵。
朱元璋参加起义军后,由于作战勇敢,吃苦耐劳,善于团结部众,很得郭子兴赏识,也深为同伴们钦佩和爱戴,因此逐渐成为农民起义军中的领袖。
1355年,郭子兴病死,他的部众全归朱元璋统率。第二年,朱元璋率领水陆大军攻下集庆(今南京市),将集庆改名为应天。集庆是元在东南一带军事和政治的重要据点。集庆的攻占,对于进军攻占整个江南地区有着重大的战略意义。在这以后的数年里,朱元璋击溃了江南元军的主力,先后攻占了现在江苏、安徽南部和浙江的大部地区。他常常告诫部下说:“毋焚掠,毋杀戮。”他的军队纪律严明,所到之处受到人民的欢迎和拥护。
朱元璋攻下徽州的时候,召见了儒生朱升。朱升建议说:“高筑墙,广积粮,缓称王。”朱元璋采纳了这个意见。从此,他便在江南有计划地网罗地主阶级知识分子,用礼聘、威逼、软硬兼施的手段,罗致了宋濂、刘基(伯温)和叶琛等人。这些人引经据典,用孔孟儒家学说帮助朱元璋来策划建立政权。