由于晋东要隘娘子关和晋北咽喉忻口于1937年10月相继失守，使华北最后一个战略要点太原门户洞开，历时23天的太原保卫战功败垂成。1937年11月8日，太原沦陷，华北正面战场随之解体，日军也将主力转移到津浦线和长江流域。这也为共产党、八路军放手发动群众，开展游击战争，建立抗日根据地，提供了有利时机和广阔天地。
根据中共中央和毛泽东的指示，八路军总部随之决定并部署了3师主力由正规军转化为游击军，由正规战争转化为游击战争，四方分兵，挺进敌后的具体事宜。
当第115师在主力随八路军总部兼程南下驰援娘子关时，师政治委员聂荣臻率领该师余部留守五台山地区，开展游击战争。经过1个月的艰苦工作，在晋东北广泛建立了抗日秩序，密切了同群众的联系，初步奠定了抗日根据地的基础。1937年11月7日，晋察冀军区在五台县成立，到1938年初，以晋东北五台县为中心的晋察冀敌后已经拓展到包括43个县、1200余万人口的广大地区。这是中国共产党在山西建立的第一个敌后抗日堡垒。
第120师早在忻口会战时，就在政治委员关向应的率领下分赴晋西北岢岚、兴县等14个县，进行以发动群众为中心的根据地的创建工作。太原失守后，贺龙率120师主力开赴晋西北敌后，到1938年1月，共产党、八路军在这一地区进一步站稳了脚跟，以管涔山为依托的晋西北敌后区初现轮廓。
八路军总部和第129师先后在和顺县石拐镇召开重要会议，决定第129师即行完成战略展开，创建以太行、太岳山脉为依托的晋冀豫抗日根据地。会后，全师根据总部和师部的部署，一面以主力一部分别进至平汉铁路以西、正太铁路以南、同蒲铁路以东一线，开展游击战争；一面抽调大批干部和先后分遣2／3以上兵力，组成工作团和游击支队，分散到晋冀豫广大地区，开辟抗日根据地。到1938年4月初日军九路围攻前，晋东南敌后区初步形成。
1937年12月，第115师主力进抵洪（洞）、赵（城）地区，与先期进驻临汾、洪洞的中共中央北方局、八路军总部和中共山西省委密切配合，全面进行抗日根据地的创建工作。1938年2月初到3月底，师部率第343旅先后深入汾离公路以南、同蒲铁路以西的晋西南各县，广泛开展游击战争，全力控制吕梁山脉南端，保卫黄河河防。在配合国民党军完成侧击、钳制日军由晋中南进任务后，又进一步打退了敌人对晋西南和黄河渡口的进犯，保证了党中央和陕甘宁边区的安全，开创了晋西南抗日斗争的新局面。
晋察冀、晋绥、晋冀豫边区和晋西南区的开辟，为开展华北敌后游击战争，创造了巩固的战争后方和前进的战略基地。
太原失守后，山西各地党组织和八路军领导机关明确地将建立和扩大抗日武装作为中心任务，大力在山西全省进行了主力部队、地方游击队和人民自卫队相结合的三位一体的抗日武装的建立和发展工作。
各级抗日政权建立后，遵照中共中央和北方局扩大八路军的指示，各地立即在辖区内广泛发动组织群众，很快掀起了群众性的参军热潮。八路军3个师由此在短期内普遍得到迅猛发展。第115师留守五台山的部队，在根据地初创时只有3000人，经过仅仅2个月的时间，就扩展到3万余人。第120师东渡黄河时兵力为3个团8200人，1938年初扩建整编后，全师主力增至6个团2．5万人。第129师的总兵力也达到3万人。到1938年初，3个师的主力由入晋时的3万余人增加到近10万人，同年秋进一步扩展到25万人，切切实实成为在山西和全华北坚持持久抗战的主力军。在此期间，山西新军在八路军的帮助下，也达到迅速发展。山西青年抗战决死队由初创时的1个总队壮大到1938年春的4个纵队，另外还有工人武装纵队、政卫队和战争动员总会领导的13个游击支队。
在壮大主力部队，加强正规武装建设的同时，山西各地党组织还大力建立和发展地方游击武装和人民自卫武装。在晋东北，不但广大的工、农群众纷纷参加抗日武装，各县都成立了少则数百人，多则上千人的抗日游击队、义勇军。在晋西北，第120师地方工作团用仅1个月时间，在各县组织起游击队、自卫队1．1万余人，不脱产的自卫队5．7万人。到1938年底，晋察冀边区有组织的群众达到100多万人，不脱产的自卫队员发展到30多万人。在晋西南，各县党组织和牺盟会在当地合法成立了二三百人到三四百人不等的抗日自卫队和游击队。
党领导的抗日武装在山西的蓬勃发展，极大地促进了群众性游击战争在敌后的开展，使抗日烽火在短短几个月内迅速燃遍了山西的广阔大地，并日趋猛烈地向整个华北扩展开来。