朝廷不得已，在公元1555年秋天，从山东沿海将抗倭将领戚继光调到江浙，任参将，镇守宁波、绍兴、台州，控制倭寇经常出没的军事要地。
与戚继光并肩作战的著名的抗倭将领有谭纶和俞大猷。谭纶后来成为戚继光的顶头上司，对戚继光的军事活动给了很多支持。
一到浙江，戚继光就与俞大猷一起在龙山所围剿登陆的倭寇，三战三捷。但戚继光从实战中，发现原来的明军纪律不好，训练不精，士气不旺，素质不高。有次战斗结束时，一个士兵拎着颗人头来报功，另一个士兵却哭哭啼啼跟着来到，诉说：“这是我弟弟，受伤还未断气，就被他割了头……”又有个士兵拎着人头来请赏，一查，被杀的竟是个十几岁的无辜少年。
两个杀人冒功的罪犯被处死了，可他们的行为震动了戚继光：这样的士兵怎么能打败倭寇?他决心练一支新的、纪律严明、训练有素的军队。经过多次请求，他终于获得上级批准，亲自到浙江义乌招募新兵。那些刁滑的、怕死的、染有流氓习气的人，他都不要，而精选了三千个壮实胆大、吃苦耐劳、动作灵便的农民与矿工，组成了一支全新的军队。
戚继光经过短短几个月的训练，就将他们打造成一支纪律严密、训练有素、武器精良、作战勇敢的队伍。这支军队所到之处，老百姓都拎着食物开水欢迎他们，称他们为“仁者之师”。戚继光带着这支战斗力很强的队伍，转战在浙江、福建的抗倭战场，取得许多辉煌战果。倭寇将戚继光称为“戚老虎”，民众将他们称为“戚家军”。
公元1559年，戚继光会合谭纶的军队，开到台州，清剿流窜台州的倭寇。他们一路打了许多硬仗，将倭寇驱逐到太平(今浙江温岭)的南湾。倭寇占据了海岸边的高山，负隅顽抗，箭和石头像雨点一样飞向明军。戚继光与他的弟弟戚继美在阵地前指挥。他俩拿起弓箭，一人一箭，嗖地飞出，正好射中两个举旗呐喊的倭寇头目。其他倭寇吓得向后退缩，戚家军便一阵喊杀，冲上山顶。倭寇向海边退去。哪知后面是绝路，他们不是被杀死，就是掉进海里淹死。
浙江的倭寇被剿得差不多了，戚继光又奉命带军队进入福建清剿。戚家军到福建后的第一战是横屿之战。横屿是宁德城东北海中的一座小岛，周围环水。水浅不能行大船，水退后又泥泞不便行走。岛上有倭寇老巢，一千多倭寇在这里盘踞了三年，当地官军从不敢去进攻。
戚继光派人探明岛的地理位置和地形、水道、潮流的特点，制定了进攻方案。他让每个士兵各带一捆干草，来到横屿对岸，等天黑退潮，将干草抛到水中，铺出一条路。大军强行登岛，发起强攻，三百多倭寇被歼灭，二十九人被俘，淹死在海上的有六百多。戚家军大获全胜。
此后，戚继光又在牛田、林墩、平海卫、仙游、兴化等地打了好些大胜仗。公元1566年，戚继光剿灭了占据广东福建交界处的南澳岛、与倭寇相勾结的海盗吴平。这时，骚乱东南沿海数十年的倭寇，总算被消灭光了。