抗日战争期间，姚喆将军为保证中共中央所在地陕甘宁根据地的安全，奉命率领抗日游击支队指战员在大青山进行了7年艰苦卓绝的战斗。期间，他与日寇和国民党反动派巧妙周旋，建立和巩固了大青山抗日游击根据地，粉碎了敌人一次次疯狂的“围剿”和“扫荡”，直至迎来最后的胜利。
1937年，日军占领内蒙古部分地区后，驻有一个旅团，并成立了四个伪蒙古骑兵师和大量的伪民团、伪警察，严重地威胁着我陕甘宁、晋西北和晋察冀抗日根据地的安全。1938年5月，中共中央最终做出建立大青山抗日游击根据地的决策。
遵照指示，八路军一二〇师决定由第三五八旅的七一五团和师直属骑兵营一个连，组成八路军大青山抗日支队;派出第二战区民族革命战争战地总动员委员会(简称“动委会”)的部分武装力量和工作人员，一同前往大青山。三五八旅政委李井泉担任支队司令员，七一五团第一营教导员彭德大任支队政治部主任，三五八旅旅参谋长姚喆为支队参谋长。
1938年7月29日，大青山支队2300多人从晋西北的五寨县出发，于9月初胜利登上大青山，与蒙汉抗日游击队在绥中面铺窑子会合在一起。从此，开始了创建大青山抗日游击根据地的长期、艰苦的斗争。
由于大青山具有重要的战略地位，所以当日军将进攻重点转向解放区的时候，随即开始对大青山抗日游击根据地进行“扫荡”。日军在“扫荡”中，挖封锁沟、修封锁墙，禁止群众出入，妄图把八路军困死、饿死在大青山。
对此，中共中央做出指示:大青山支队迅速将步兵改为骑兵，以适应斗争的需要。姚喆一方面从消灭伪军、围歼顽匪中缴获了大批战马，一方面向开明绅士和地主募捐马匹。广大蒙汉族群众听说八路军需要马匹，纷纷自动捐献，让大青山支队短期内组建成一支骑兵支队，由李井泉任司令员，姚喆任副司令员。
1938年12月，根据中共六届六中全会“巩固华北，发展华中”的决定，大青山支队的主力七一五团奉命随主力挺进冀中，只留下一个营的兵力和“动委会”第四支队坚持斗争。李井泉、姚喆将这支部队分散到绥南、绥中、绥西三个地区开展工作，很快发展成为三个营的革命队伍。
1939年4月，日伪军集中五六千人，分六路向绥中的五塔背、银矿山一带和绥南进行“扫荡”。这时，在日寇进攻面前不战而逃的国民党骑二军的郭栖鹏、骑六师师长王照墉，也乘机带部队进入大青山，妄图从八路军手中“收复失地”。当时李井泉在延安汇报工作未回，姚喆立即部署各区，动员群众坚壁清野。同时，他带领绥中部队转到外线，从侧背打击敌人。日伪军对姚喆部无可奈何，却撞上了前来“收复失地”的国民党骑六师，遂给以严重打击。后来，王照墉和郭栖鹏自知在大青山搞摩擦站不住脚，便灰溜溜地撤走了。
1940年1月，李井泉调往晋绥工作，姚喆接任骑兵支队司令员。这时，阎锡山发动“晋西事变”，国民党绥远“民众抗日自卫军”也同日寇勾结，在大青山频频制造事端，枪杀中共地方工作人员。为了反击顽固派的摩擦，姚喆集中兵力同时行动，一举歼灭了“自卫军”总部和其主力，俘虏2000余名，缴枪1000余支，还缴获了“自卫军”三路总指挥王有功与日寇勾结投降的秘密信件。接着，又在绥中和绥西粉碎了顽军的反扑，消灭、俘虏了一部。由此，大青山抗日根据地得到进一步巩固，骑兵支队也从3个营发展为3个骑兵团。
姚喆十分重视并坚决贯彻执行党的团结抗日的民族政策，对蒙古同胞平等相待，兄弟相处，尊重蒙古族、回族的宗教信仰和生活习惯，不准影响正常的宗教活动，取得了蒙古族群众的尊敬和信任。许多蒙古族地主、大户同情抗日，捐献抗日物资，积极掩护我党的军政人员和伤病员。姚喆还亲自向一些较有影响的宗教人士做工作，取得了他们的了解、同情和支持，有的还为八路军提供情报，掩护伤病员，购买急需物资，一些喇嘛庙甚至成为中共地下工作的联络站。
在姚喆参与领导下，大青山支队与伪蒙军各师基本上建立了联系，其中有的和八路军订立了“互不侵犯”的秘密协定，有的还为八路军提供武器弹药和其他军用物资。对此贺龙曾说:“姚喆不但是‘姚一刀’，而且还有‘姚一手’，不但有勇，更加尚谋。这一点，彭大将军可能没有发现。”1940年8月，根据上级首长的指示，姚喆在武川县西梁村主持召开了绥远各族各界各抗日民主党派的代表会议，成立了“绥察行政办事处”，制定了“绥察施政纲领”，成立了绥西、绥中、绥南三个专署，建立了9个县的抗日民主政权，并派出一批干部组成了绥东工作团，在绥东开展工作。到第二年年底，在丰镇、集宁、兴和、商都等县都相继建立了区县政权和抗日群众组织，同时发展了数百人的骑兵游击队，使整个大青山的骑兵发展到3500多人，并形成了辽阔的晋绥抗日根据地，有力地拱卫着党中央所在地陕甘宁边区的安全。
从1941年春到1943年夏，日寇对大青山根据地进行了规模更大的“扫荡”。姚喆领导大青山军民同敌人进行了上百次战斗，给敌人以沉重打击。
1942年秋季，日寇搜罗了3万余众，对大青山游击根据地发动了空前规模的大“扫荡”。当时，姚喆命令部队主力和军政机关南移晋西北根据地，自己仅率本部第三团教导营和支队直属连2000余众与敌周旋。一些同志建议他回绥南支队司令部去，他却说:“我要和同志们在一起战胜敌人，渡过难关。”为了减小目标，便于机动和解决食宿困难，姚喆决定把部队化整为零，以连或班为单位单独活动。1943年夏，随着大青山地区的对敌斗争的胜利，党政军各方面的工作得到逐步恢复，姚喆也成为新成立的塞北军分区司令员。1945年7月，中共中央将塞北军分区改为绥蒙军区，姚喆任司令员。此后他率部连续打了多个胜仗，组建了绥南、绥西、绥中、绥东四个军分区。
1945年8月，遵照毛泽东《对日寇的最后一战》的指示，姚喆指挥绥蒙地区的步骑部队昼夜兼程，向敌占区挺进，配合晋绥军区和晋察冀部队攻打归绥，迫使日本侵略军放下武器，并占领了平绥线除包头、归绥以外所有重要城镇。9月2日，日本在投降书上正式签字，中国抗日战争胜利结束，大青山抗日游击战争取得最后胜利。(