实现了对地方行政机构的改革之后,朱元璋又开始集中精力对中央政府机构,首先是总揽天下政事的中书省实行改革。本来中书省在中央的各个权力机构当中,位置最高。其行政长官左、右丞相,又负有统率百官之责,权力很大。明初的第一任左、右丞相分别是李善长和徐达。李善长为人处事,向来以小心谨慎着称。徐达则较多时间是带兵征战在外。他们都没有与皇上朱元璋形成大的矛盾冲突。但相位传给胡惟庸之后,他独揽大权,朱元璋不能容忍相权对君权的威胁,决心废除丞相,把大权掌握在自己一个人手里。
胡惟庸是定远人,与开国第一号功臣李善长的有亲戚关系,他依仗着李善长这个后台当上了左丞相。在朝中独断专行,官员升降、生杀大事,都自作主张,不向朱元璋请示;朝野内外的报告,凡对自己不利的全扣下来;想做官、升官的人,都奔走他的门下,收受金银、绢帛、名马、玩物不计其数。他四处网罗自己的党羽,培植自己的亲信,组织自己的小集团,打击异己力量,称霸天下。
一天,胡惟庸的儿子乘马车在南京城里招摇过市,不小心从车上跌下来摔死了,胡惟庸判车夫抵命,并处死了车夫。朱元璋知道后,十分气愤,他非要胡惟庸偿命不可,胡惟庸请求,向车夫家人赔偿金帛以了此事。朱元璋坚决不准。胡惟庸听了十分紧张,遂坚定了起事政变的决心。
洪武十三年(1380 )正月,胡惟庸入奏,诡称其住宅中井出醴(lǐ)泉,请朱元璋去观看。朱元璋好大喜功,信以为真,也就匆匆驾出西华门。他正行进中,突然内使云奇冲上跸( bì)道,拦住车马,慌忙中一时说不出话来。
朱元璋以为不敬,即令左右侍卫棍锤乱下。顿时,云奇右臂被砸断,生命垂危。但他仍用左手直指胡惟庸的宅第摇晃。朱元璋猛然醒悟,急忙返驾登城,远远望见胡惟庸宅第中绕有兵气,以此定胡惟庸谋逆,立即发羽林军逮捕胡惟庸,将其抄家灭族。随着明王朝的建立,昔日与朱元璋共同出生入死的将领都已封公封侯,爵高位显。这些功高震主的将领不免做出恃功骄傲、仗势欺人之事。为加强皇帝权威,同时顾虑太子朱标忠厚,镇慑不住功臣名将,朱元璋决定借他们违法之机进行镇压。朱元璋又以与胡惟庸交通谋反的罪名杀掉了一大批功臣勋将,甚至连位居“功臣第一”的年迈77岁的李善长以及全家70多人也全部伏诛,整个胡案前后共杀掉3万多人。
洪武二十五年( 1392 ) ,太子朱标病故。朱元璋立朱标之子朱允( wén )为皇太孙。朱允炆年轻懦弱,朱元璋对此十分担忧。为解除后顾之忧,洪武二十六年(1393) ,朱元璋又兴起蓝玉狱。大将蓝玉是洪武中后期的主要将领,作战勇敢,战功赫赫,被封为“凉国公”。但此人居功自傲,骄横不法。朱元璋加以谋反罪名,兴起党狱,将蓝玉斩首并抄斩三族,凡与蓝玉关系密切的朝臣,坐党者则夷灭。蓝玉案先后谋杀15000人,功高位显的元勋旧将几乎杀个干净。这样,朱元璋利用胡、蓝之狱,前后10几年共诛杀功臣45000人,其残忍实千古所未有。
朱元璋宣布撤销中书省,罢除丞相,提高吏、户、礼、兵、刑、工等六部的地位。由六部分理朝政,直接对皇上负责。并且规定,后代皇帝不得再立丞相,大臣中如果有奏请再立者,处以重刑。就这样所有的国事就落到了皇帝一个人身上。朱元璋在8天之内,要看内外诸司奏札1660件,共计3991件事,也就是说平均每天要看或听200多件报告,处理400多件事,平常人是难以承受这一繁重任务的。再加上激烈的政治斗争,使他忧虑江山万世永固,也迫使他辛勤工作。
洪武三十一年( 1398 )六月,朱元璋病逝,正因为“勤政”,朱元璋成为历史上为数不多具有远见卓识的君主。他一生勤政爱民,实行休养生息的政策,减轻对人民的剥削。因为出生贫苦,深知物力为艰,因此大力提倡节俭,并以身作则、坚持一生。而且他还是一个勤奋好学的君主,从目不识丁到写诗作赋,其恒心和毅力在帝王中是少见的。但他残杀功臣,大兴党狱也实属千古罕见,由此成为历史上争议颇多的帝王之一。