朱元璋参加起义军以后，马上表现出他的才能。他打仗勇敢，又有计谋。郭子兴把他当作心腹看待，出去打仗，总要先跟他商量。在起义兵士中，朱元璋的声望渐渐提高了。
郭子兴有个好朋友姓马，在郭子兴起兵那年病死。马公临死的时候，把他的孤女托给郭子兴照顾。郭子兴把女孩带回家里，交给妻子张夫人抚养，把她当作自己的亲生女儿一样。郭子兴一直想给她选个好女婿，这一回，见朱元璋是个人才，就跟张夫人商量，要把马公的女儿嫁给朱元璋，张夫人一听也十分赞成。这样，皇觉寺的小和尚就做了郭元帅的女婿，地位也不同了。在起义军中，大家都称他“朱公子”。
濠州的红巾军里，连郭子兴在内，共有五个元帅。五个人平起平坐，不分高低，谁也管不了谁。除郭子兴外，另外四个元帅都有点江湖气，不讲纪律。郭子兴渐渐看不惯他们，他们也嫌着郭子兴。日子一久，矛盾越来越深，四个人就合在一起，排挤郭子兴。有一次，郭子兴差点被他们害死，亏得朱元璋得到消息，把郭子兴救了出来。
朱元璋发现起义军的几个将帅胸襟狭窄，在他们手下干事，成不了什么气候，就回到老家，招兵买马。他少年时候的伙伴徐达、汤和，听说朱元璋做了红巾军的将领，都来投奔，不到十天，就招募了七百人，后来，又袭击元军，招降了一批元军。
朱元璋得了大批生力军，整顿纪律，加紧训练，把手下的军队训练成一支战斗力很强的队伍，声势大振。
定远有个文人李善长，是个很有计谋的人，也来找朱元璋。朱元璋知道他很有学问，就留他在起义军里当谋士。有一次，朱元璋问李善长说：“现在全国到处都在打仗，什么时候才能太平呢？”
李善长说：“秦朝末年，也这样大乱过。汉高祖是平民出身，因为他气量大，能够用人材，又不乱杀人，只花了五年时间，就统一天下。现在元朝政治这样混乱，天下土崩瓦解，您何不向汉高祖学习呢？”
打那时候起，朱元璋就一心一意想学汉高祖刘邦。
朱元璋带着自己训练出来的队伍，连续打下滁州、和州。小明王韩林儿在毫州称帝那年，郭子兴得病死了。小明王就封郭子兴的儿子郭天叙为都元帅，朱元璋做了副元帅。
郭天叙没有什么指挥的经验，加上红巾军中大多将士都是朱元璋的亲信，朱元璋名义上是副帅，实权全掌握在他手里。没多久，郭天叙在攻打集庆（今江苏南京）的时候，被叛徒杀死，朱元璋就当了名副其实的元帅。
朱元璋独掌兵权以后，率领大军大破元朝水军，渡江攻打集庆，集庆五十多万军民投降。朱元璋进了集庆，出榜安民，把集庆改名应天府。打那时候起，朱元璋就以应天府作为根据地，向江南一带发展。