八路军开辟华北抗日根据地的同时，由红军游击队改编而成的新四军(按国民政府军事委员会统一战斗序列，为新编陆军第4军，习惯称新四军)，也在华中地区敌后猛烈开展游击战，建立抗日根据地。正如在华北，日军视八路军为最可怕的对手一样，在华中，新四军成为日军最大的威胁。华中抗日根据地的区域主要包括江苏绝大部分，安徽、湖北、河南、浙江和湖南的一部分。从1938年4月开始，新四军各支队相继挺进华中各个地区开展游击战，建立根据地。
1938年4月，粟裕率新四军先遣支队深入华中敌后，开展游击战争。5月，陈毅和张鼎丞分别率新四军第一支队和第二支队挺进苏南，在中国沦陷首都南京周围的镇江、句容、金坛、丹阳地区和江宁、溧水、告淳及当涂地区，发动群众开展游击战争，摧毁伪政权，进行统一战线工作，初步形成了以茅山为中心的苏南抗日根据地;8月到12月，两支队互相配合，粉碎了日军的多次“扫荡”，逐渐巩固了根据地。7月初，谭震林率新四军第三支队开进皖南前线，活动于芜湖、宣城、青阳一带;9月初，受第三战区之命防守青弋江阵地，歼敌400余人;12月，又担负铜陵、繁昌沿江地区的防御任务。第四支队于4月底进至舒城、桐城、庐江、无为地区，开展游击战争;7月至10月，在安合公路两侧进行战斗，配合正面战场作战;11月，支队一部进至淮南铁路以东展开游击战争，和新编的新四军江北游击纵队配合，打开了皖中地区的抗日局面。6月，罗炳辉率新四军第五支队挺进皖东，建立皖东根据地。10月，彭雪枫率领新四军游击支队进入豫东地区，初步打开了豫东抗日局面，为以后豫皖苏根据地的发展奠定了基础。年底，新四军一部在八路军配合下，开辟皖东北和淮海区。
从1938年4月到10月，新四军取得了一百数十次战斗的胜利，有力地打击和牵制了敌人，支援了正面战场的作战，同时积极进行创建根据地地各项工作，为扩大华中根据地、进一步发展游击战争创造了良好的条件。然而，随着新四军抗日力量的发展，期间曾遭到国民党顽固派的仇视，1941年1月4日，发生了震惊中外的企图消灭我皖南新四军的大血案，遭到了全国人民的强烈不满和国际舆论的谴责。中国共产党毅然宣布重建新四军军部。
从1941年开始，华中各根据地针对日伪军的大“扫荡”和“清乡”，进行了艰苦而又坚决的反“扫荡”、反“清乡”、反“蚕食”斗争。自1938年至1944年春，华中根据地军队和日伪作战17500余次，毙伤日伪军24万余人，有力的打击了华中的日伪军，粉碎了日寇的企图，坚持并发展了敌后游击战。