当朱元璋的势力向南方发展的时候，首先遇到一个强敌是陈友谅。陈友谅原是徐寿辉起义军的部将，后来他谋杀了徐寿辉，自立为王，国号叫汉。他占据江西、湖南和湖北一带，地广兵多，建立了一个强大的割据政权。公元1360年，他率领强大的水军，从采石沿江东下，进攻应天府，一心想并吞朱元璋占领的地盘。
朱元璋赶忙召集部下商量对付汉军的办法。有的说，跟汉军的力量相差太大，不如趁早投降；有的主张逃到钟山（在今南京）死守；也有人主张拼一死战，如果失败，再逃不晚。大家七嘴八舌，议论纷纷。只有新来的谋士刘基站在一边，一声不吭。
朱元璋犹豫不决，散了会，把刘基单独留下来，问他有什么主意。刘基说：“我看那些主张投降和逃走的人就该杀！”
朱元璋说：“请问先生有什么办法打败敌人？”
刘基说：“敌人远道来侵犯，我们以逸待劳，还怕不能取胜？您如果多用财物赏赐将士，再用一点伏兵，抓住汉军的弱点痛击，要打败陈友谅就大有希望。”
朱元璋听了刘基的话，满心喜欢。两个人又商量了一阵，把计策定了下来。
朱元璋的部将康茂才跟陈友谅是老相识。朱元璋把康茂才找来，对他说：“这次陈友谅来进攻，我要引他上钩，没有你帮助不行。请你写封信给陈友谅，假装投降，答应做他的内应；再给他一点假情报，要他兵分三路攻打应天，分散他的兵力。”
康茂才说：“这事不难。我家有个守门的老仆，给陈友谅当过差。派他送信去，陈友谅准不会怀疑。”
康茂才回到家里，按照朱元璋的吩咐写了信，连夜叫老仆赶到采石，求见陈友谅。陈友谅见了老仆送来的信，果然并不怀疑，问老仆说：“康公现在哪里？”
老仆回答说：“现在他带了一支人马，驻守江东桥，专等大王去。”
陈友谅连忙又问：“江东桥是啥样子？”
老仆说：“是座木桥，容易认得出来。”
陈友谅跟老仆谈了一阵，吩咐左右摆上酒菜，让老仆饱饱地吃了一顿，才打发他回去。临走的时候，陈友谅对老仆说：“你回去跟康公说，我马上就去江东桥，到了桥边，我叫几声‘老康’，请他马上接应。”
老仆回去后，把陈友谅的话全向朱元璋回报了。朱元璋连声叫好，当夜派人把江东的木桥拆掉，改成一座石桥。
朱元璋从陈友谅的逃兵那儿得到情报，弄清楚他们进攻的路线，就让大将徐达、常遇春等分几路在沿江几个重要关口埋伏了人马。朱元璋亲自统率大军守在卢龙山（今南京狮子山），布置兵士准备好红黄两面旗帜，规定了信号：举起红旗就是通知敌人已经到来，举起黄旗就是命令伏兵出击。一切都准备好了，只等陈友谅自投罗网。
陈友谅自从老仆走后，立刻下令全体水军出发，由他亲自带领，直驶江东桥。哪想到到了约定地点，竟没见木桥，只有石桥。陈友谅的部将们都起了疑心。陈友谅想，别管他是石桥还是木桥，只要找到康茂才就好。他就到石桥旁边，一连喊了几声“老康”，也没人答应。陈友谅这才想到自己上了当，急忙命令船队撤退。
朱元璋发现敌人中计，立刻叫兵士举起黄旗，发动进攻。一霎眼间，战鼓齐鸣，岸上伏兵一起杀出，水港里的水军也加入战斗。
陈友谅受到突然袭击，几万大军一下子乱了套，被杀死的和落水淹死的数也数不清，两万兵士、一百多艘战船被朱元璋的将士俘获。陈友谅在部将保护下，抢了一条小船，总算逃了命。
这一仗打得陈友谅大伤元气。朱元璋的声势却越来越大。陈友谅哪肯甘心，他养精蓄锐，决心要报这个仇。过了三年，他造了大批战船，又带领六十万大军，进攻洪都（今江西南昌）。
朱元璋亲自带领二十万大军援救洪都，陈友谅才撤去包围，把水军全部撤到鄱阳湖。朱元璋把鄱阳湖出口封锁起来，堵住敌人，决定跟陈友谅在湖里决战。
陈友谅的水军有大批战船，又高又大，一字儿排开，竟有十几里长；朱元璋的水军，却尽是一些小船，论实力比陈友谅差得多。双方连续打了三天，朱军都失败了。
部将郭兴跟朱元璋说：“双方的兵力相差太远，靠打硬仗不行，非用火攻不可。”
朱元璋立刻命令用七条小船，装载着火药，每条船尾带着一条轻快的小船。那天傍晚，正好刮起了东北风，朱元璋派了一支敢死队驾驶这七条小船，乘风点火，直冲陈友谅大船。风急火烈，一下子就把汉军大船全部延烧起来，火焰腾空，把湖水照得通红。陈友谅手下的将士不是被烧死，就是被俘虏。
陈友谅带着残兵败将向鄱阳湖口突围。但是湖口早已被朱元璋堵住。在陈友谅突围的时候，朱军一阵乱箭，把陈友谅射死。
朱元璋消灭了南方最大的割据势力陈友谅以后，自称吴王。
自从刘福通牺牲以后，朱元璋把小明王接到滁州，名义上还接受小明王的领导。到了这时候，他做皇帝的思想膨胀起来，觉得留着小明王对他是个障碍。公元1366年，他用船把小明王接到应天，趁小明王在瓜步（今江苏六合东南）过江的时候，派人暗暗凿沉了船，把小明王淹死。
第二年，朱元璋消灭了张士诚割据势力，接着，命令徐达为征虏大将军，常遇春为副将军，率领二十五万大军北伐。过了两个月，徐达的军队旗开得胜，占领了山东。公元1368年正月，朱元璋在应天即位称皇帝，国号叫明。他就是明太祖。
明军乘胜进军，元兵节节败退。这年八月，徐达率领大军直捣大都，元顺帝逃往上都。统治中国九十七年的元王朝终于被推翻。