抗日战争全面爆发后，党中央为了增强抗战力量，1939年5月，派徐向前和朱瑞到山东领导敌后游击工作。接到命令后，徐向前在馆陶与朱瑞汇合，于6月上旬从泰安以南过津浦路，进入沂蒙山地区。他们刚到那里，就赶上了日寇对山东发动第一次大“扫荡”。自此，徐向前开始领导山东军民反“扫荡”。

　　指挥粉碎日寇进攻

　　沂蒙山区具有重要的战略地位，它南临陇海铁路、西跨津浦铁路、北接胶济铁路、东濒黄海，是开展游击战争的好地方，还是山东党政军领导机关的所在地。1939年6月1日，日寇两万余人在植田大将指挥下，兵分十路，分进合击沂蒙山区腹心地带。刚到沂蒙山区的徐向前来不及详细了解山东各根据地的情形，就投入到指挥军民进行反“扫荡”的紧张斗争中。　　当时承担反“扫荡”任务的主要是在山东抗日武装起义中发展起来的八路军山东纵队。这是一支土生土长的武装队伍，既缺少战斗经验，又缺乏干部，装备也很低劣。不过，沂蒙山区地势险峻，回旋余地大，部队熟悉地形民情，又有青纱帐和群众掩护，为打击日寇提供了便利条件。在徐向前指挥下，八路军山东纵队与地方游击力量、县独立营、自卫团协同配合，相互支援，重点袭击日军的交通线和薄弱地方。日军逼进村庄时，军民空舍清野，埋藏粮食衣物，使敌人进村后粮水无继；或者躲进山洞，使村庄空无一人，日军走后，再互通情报，商量对策，拖得敌人筋疲力尽，难有收获。在一个多月的反“扫荡”中，山东军民与日军作战20余次，歼敌1000余人，最后迫使敌人不得不撤出沂蒙山区，收兵回巢。

　　制定新策略消耗敌人

　　从1939年下半年起，日寇加大了对山东抗日根据地的“扫荡”频次，使用的兵力规模也越来越大，并且采取把后方变为前线、以“游击战”对“游击战”等策略。针对日寇“扫荡”中的新特点，徐向前制定了新的反“扫荡”策略，即军民合力，运用游击战、破袭战、麻雀战等多种作战方式，不断给敌人以有力打击。　　日军不甘心接受山东第一次大“扫荡”的失败命运，妄想把驻扎在沂蒙山区的八路军第一支队消灭或挤出去。1939年10月底，敌人向临朐县城西30华里的五井镇发动了大规模进攻。面对日军的进攻，徐向前指挥八路军第一支队官兵一面用步枪挑着军帽佯装前进以吸引日军火力，一面利用有利的地形地貌，在日军猛烈的火力下匍匐前进，最终将他们围歼在五井镇的莲花山上。这次战斗历经17个小时，毙伤日伪军120余人，被《大众日报》誉为是“山东抗日两年来的最模范的胜利战斗”。　　孙祖战斗也是徐向前领导反“扫荡”取得胜利的一次典型战斗。1940年春，日军再次对鲁中地区进行“扫荡”。徐向前根据群众送来的情报，判断日军会经过岱庄、孙祖，正好可以借此伏击歼敌。为此，他星夜调八路军第二支部一部北上埋伏在孙祖与铁屿一带。3月16日，日军几百人果然向孙祖方向前进，正好钻进了八路军的包围圈。当日军进入孙祖附近的九峰山后，埋伏在山上的指战员一齐开火，手榴弹、石块顿时飞向敌群，机枪、步枪也一齐扫射，给日军造成重大伤亡。附近的民众也自动组织起来，运送伤员、送茶送饭、侦察敌情，为战斗胜利提供了重要保证。这次战斗历经两昼夜，毙伤日军200余人，缴获了一批马匹、车辆和武器弹药。

　　类似的反“扫荡”战斗还有不少，如1939年6月的苗山战斗、7月的大郝家埋伏战、8月的梁山伏击战、11月的泰山反“扫荡”战斗以及1940年3月的白彦战斗、4月的抱犊崮反“扫荡”战斗等，反“扫荡”的零星战斗几乎天天都在进行。在领导山东军民进行反“扫荡”的过程中，徐向前沉着坚毅、指挥有方，使日军屡遭惨败，大大提升山东军民的胜利信心。

　　发展武装提高战斗力

　　基于山东抗战武装力量薄弱的实际，徐向前主张必须发展壮大武装力量。他积极落实党中央要求山东把发展武装力量作为一切工作中心的指示，一方面采取措施发动群众成立民兵自卫团等武装组织，另一方面提高主力部队、正规军的质量。

　　徐向前提出各县均要组织民兵自卫团，区、乡、村等成立自卫武装力量，担负站岗放哨、空舍清野、侦察敌情、清除汉奸、保卫政权、配合主力部队作战等任务，这为反“扫荡”提供了广泛的人力支援。如在日军“扫荡”泰西时，民兵自卫团员很快组织起来，从家里拿出土枪、大炮、大刀、红缨枪等，在1940年清河区的刘家井战斗中，他们用土炮与八路军战士一样坚守在阵地上；寿光阳河的自卫团单独夜袭敌人，给日军制造了不小麻烦，对于粉碎日军“扫荡”发挥了重要作用。

　　1940年夏，党中央来电要求徐向前赴延安述职，至此，他离开了和他一起战斗一年有余的战友与山东百姓。他为争取反“扫荡”胜利付出的心血和努力铭记在山东人民的心中。