1940年5月，国民政府为加强陕西、山西和河南三省边界北地区的对日作战力量，将新组建的新编第34师、暂编第15师等部在河南灵宝地区编成第36军。隶属国民革命军第三十四集团军，赵锡光任军长，刘元塘任副军长。下辖：新编第34师，马志超任师长；暂编第15师，刘宗宽任师长。1941年5月，新编第34师奉命改隶国民革命军第57军，另将暂编第52师和暂编第59师列入该军序列。此时，该军下辖：暂编第15师，刘宗宽任师长；暂编第52师，林英任师长；暂编第59师，李洁任师长。1942年，该军由河南调防陕西，隶属国民革命军第三十七集团军。同年6月，军长赵锡光升任第37集团军副总司令，刘元塘继任军长，罗历戎、魏炳文、周世冕任副军长。1943年，刘元塘调走后，罗历戎继任军长，周世冕、张占魁、陈金城任副军长。
1945年初，国民党军进行均等编制调整，该军所辖暂编第15师被裁减，暂编第52师、第59师合编为第123师，另将国民革命军第80军被裁减后的第165师和第80军原辖新编第27师、第37师合编为第28师改隶该军。同时，将该军军长罗历戎与国民革命军第3军军长李世龙对调职务。同年7月，李世龙升任第37集团军副总司令，钟松继任军长，下辖：第28师，徐保任师长；第123师，盛文任师长；第165师，李日基任师长。此次整编后，该军隶属第37集团军，为配合胡宗南主力在西北地区的作战，同年8月至9月，该军在陇海路沿线地区，对解放区执行“清剿”作战任务。
1946年6月，国民党对军队进行整编时，该军改编为整编第36师，原军长钟松改任师长。原下辖第28师、第123师、第165师，依次改编为整编第28旅、整编第123旅、整编第165旅。此次整编后，该师隶属于整编第29军（第37集团军），驻防陕西关中地区。同年6月至8月，该师一部参加了尾追堵截人民解放军中原突围的作战。12月底，该师参加了与人民解放军在关中地区的争夺战。在此次作战中，该旅遭受重创，其一部被人民解放军围歼。1947年3月至同年秋，国民党军对陕北发起重点进攻后，该师在西北战场上多次与人民解放军交战，先后参加攻取延安、青化砭战役、羊马河战役、蟠龙战役等作战。同年7月，该师组成援榆快速兵团，增援榆林。8月，该师在沙家店战役中，师部及所辖第123旅全部、第165旅两个团被歼。此次作战后，该师由于伤亡惨重，移防铜川一带进行增补。
1948年春，该师被编入裴昌会第5兵团，隶属西安绥靖公署。同年4月至8月，该是先后参加了西府陇东战役和澄合战役。在澄合战役中，该师少将参谋长张先觉、高级参议李秀等被俘，大部被歼。同年9月，整编第36师恢复第36军番号，钟松任军长。原整编第28旅恢复为第28师，李规任师长；原整编第123旅恢复为第123师，方晓松任师长；原整编第165旅恢复为第165师，孙铁英任师长。此次整编后不久，该军在参加荔北战役遭受重创，其一部被西北野战军歼灭。12月，该军在集结于临潼、大荔等地进行增补后，奉命参加了当年的西北冬季战役。1949年初，军长钟松升任第5兵团副司令官，刘超寰继任该军军长。同年3月至5月，该军先后参加了西北1949年春季战役和陕中战役。在陕中战役后，该军奉命撤至扶凤、眉县一带，参加阻击解放军进军西南的扶郿战役。在此次作战中，该军第123师在黑山寺作战中被人民解放军围歼。8月至10月，该军在参加秦岭战役中一部被歼后，余部逃往沙霸、进口关进行防御休整。10月，秦岭防线被人民解放军全面突破后，该军又退至川陕边地区组织防御。11月，该军在西南战役中担任防守川西新津的任务，被人民解放军全歼于川西新津地区。
