该第28军前身是湘系军阀何键所属第35军一部。1930年9月，湘系军阀何键所属第35军第19师，由于在“围剿”中央苏区的作战中有功，蒋介石将第19师扩编为国民革命军第28军，任命刘建绪为军长，下辖：第15师，王东源任师长；第16师，彭位仁任师长；第19师，李觉任师长。该军组建后，作为国民党军的主力部队，多次与红军部队作战。从1930年11月至1934年10月期间，参加了对湘赣苏区的第1至第4次“围剿”作战和对中央苏区的南雄、水口战役等多次作战。1934年10月，中央红军长征后，该军第15、第16师参加了“追剿”红军的湘江战役。1936年初，该军隶属“追剿”军第1纵队时新增第62师，陶广任师长。同年3月下旬，该军参加了对湘鄂川黔边区第2、第6军团的“围剿”等作战。
1937年7月，抗日战争全面爆发后，国民党军队进行编制调整时，该军隶属第10集团军。此时，陶广任军长，郭持平任副军长，彭松龄任参谋长。下辖：第16师，章亮基任师长；第62师，陶柳任师长。该军原辖第15师改隶第73军、第19师改隶第70军。该军整编后，参加了淞沪会战，奉命在罗店以南、蕴藻浜、大场镇、广陈镇等地区阻击日军。在此次会战中，该军伤亡惨重，后撤至浙江嘉兴地区休整补充。在此期间，该军新增编第192师，胡达任师长。1939年冬至1941年，该军先后参加了1939年的冬季攻势作战和1941年的第2次长沙会战。1942年初，该军隶属第23集团军时，第25军第52师改隶该军。同年5月至9月底，该军参加了浙赣路会战，奉命在浙赣路以北新登、建德、寿昌一带打击日军。此次会战后，该军驻守在安徽歙县整训。1945年9月，该军第62师改隶第88军，第70军第80师改隶该军。
1946年6月，国民党军实行整编，该军改编为整编第28师，驻防江苏徐州。李良荣任师长，尹钦明任参谋长。原辖第52、第80、第192师依次改编为整编第52、整编第80、整编第192旅。此次整编后，该师隶属陆军总司令部临沂指挥部。不久，整编第52旅被改编为第1快速纵队，脱离该师建制。同年7月至1948年7月，该师辖整编第80、整编第192旅，作为国民党军队的主力部队，在苏、鲁、皖战场上多次与人民解放军作战，先后参加了朝阳集战役、两淮进攻战役、宿北战役、盐淮地区进攻战、泰蒙战役、孟良崮战役、进攻鲁中解放区战役、津浦路战役、大别山“清剿”战役、宛东战役、平汉路进攻战等作战。在此期间，李良荣升任第9绥靖区司令官后。李勃继任该师师长；第1快速纵队于1948年初回归该师整编第80旅；原辖整编第192旅改编为整编第52旅。1948年9月，整编第28师恢复第28军番号，隶属第14兵团。李勃任军长，下辖整编第52旅恢复第52师的番号，朱丰任师长；整编第80旅恢复第80师的番号，李万斌任师长。1949年4月，该军隶属南京卫戍总司令部。此时，暂编第7师改编为第195师，隶属该军建制。同年4月下旬，人民解放军发起渡江战役后，该军配合在南京江北江浦、浦镇地区，担任屏障和掩护南京安全。长江防线被人民解放军突破后，该军逃至安徽广德、郎溪地区被人民解放军合围，于4月29日被歼，军参谋长黄疆强、第80师师长李开西被俘。6月，该军残部1个团在第195师副师长张少武率领下，于南京汤山宣布起义。
