1938年广州、武汉失陷后，日军增兵山东，八路军根据形势变化，于12月成立了山东纵队，由张经武任司令员，黎玉任政治委员。由于山东抗日根据地处于初创阶段，中共中央决定派遣八路军第一一五师主力前往支援，加强抗战力量。第一一五师主力在12月进入山东，随后，为统一山东与苏北地区的八路军指挥，1939年5月，中共中央北方局和八路军总部组建了第一纵队，由徐向前担任司令员，朱瑞担任政治委员。
接到命令后，徐向前和朱瑞分别从冀南和晋东南出发，于6月在鲁西北馆陶会合，随后在沂蒙山区召开会议，部署反“扫荡”斗争。他们成功粉碎了日军的大规模“扫荡”，并与国民党鲁苏战区司令于学忠进行谈判，推动抗日民族统一战线工作。1939年8月1日，八路军第一纵队在沂蒙地区正式成立，徐向前和朱瑞就职，开展了一系列抗日活动，包括建立抗日民主政权，反击国民党顽固派挑衅，以及整军提高部队素质。
1940年6月，徐向前离开山东前往延安，第一纵队番号被撤销，八路军山东纵队继续指挥其部队。1941年1月，第一纵队的番号被永久取消，山东党政军民的工作由山东分局统一领导，朱瑞任书记。这一系列举措表明了八路军第一纵队在山东抗日战争中的重要角色以及其在发展和巩固根据地中的贡献。
八路军第一纵队是1939年5月，中共中央和八路军总部决定组建的革命队伍，徐向前任司令员，朱瑞任政治委员，统一指挥山东境内与冀鲁边、苏北等地区的八路军各部队。