随后红5军即位于高台，西路军总指挥部及红9、红30军则集中于临泽、沙和堡（今临泽县城）、倪家营子一带，待机歼敌。1月中旬，尾追西路军的马步芳部5个骑兵旅、2个步兵旅及炮兵团、民团共2万余人到达上述地区。12日，敌以一部兵力牵制倪家营子地区西路军主力，集中4个旅另3个团和民团一部，配以飞机、大炮，向孤立突出的高台红5军发起进攻。红5军依托城外工事抗击数日后，被迫退入城内坚守。20日，马步芳部全力攻城，红5军英勇抗击，后因收编的民团叛变，开城门接应，使马步芳部突入城内。红5军与其展开逐街逐屋的争夺，终因力量对比悬殊，高台失守，军长董振堂、政治部主任杨克明及红13师师长叶崇本、参谋长刘培基以下3000余人大部牺牲。在此期间，西路军总指挥部曾派骑兵师驰援高台，途中因遭马步芳部截击，师长董俊彦、政治委员秦道贤以下大部牺牲。
高台城墙是个大土围子，高不过二丈，顶上又窄，并排刚能走两个人，且只有单人射击孔，很难组织火力，又不易隐蔽。董振堂决定堵塞东、西门，动员全城军民把木箱、木柜抬到城上，填上沙土，泼水结冻，以加宽加高城墙。
吕仁礼带领1个连昼夜施工，挖好一个宽约一米、高两米的洞，靠城外部分留下一层薄薄的土，捅一个小洞可以看到外面的情况，到突围时可以一脚踢开。
元月7号凌晨，根据河东主席团指示，（西路军总部）黄超的便衣通讯员送来一封信，大意是：奉总部命令，高台是打通国际路线重要的军事要点，要军长坚守高台。（吕仁礼：《回忆高台战斗》）
董振堂划分防区：39团（800余人）驻守东关，45团（900余人）守城南，骑兵团（2个连、200余人）守城南，军部驻天主教堂。
敌军连续发起30余次进攻，红45团政委张力雄认为：“战斗的激烈程度是我军长征以来罕见的。”
红45团步枪平均每支仅有13发子弹，机枪每挺不到100发，炸药、手榴弹也不多。该团组织城中所有的铁匠、木匠，赶制双刀、梭镖、铁叉、铁棒以及木棒，收集民间的大刀、锄头、铁叉以及打麦用的木叉等，还用水桶装上水冻成冰砖用作武器。
红45团1排坚守西关外一座碉堡三、四个昼夜。敌人在碉堡外堆积大量柴草连同民房一起点燃，1排官兵登上堡顶，毁掉武器，集体跳下，宁死不屈。
激战数日，东、西关外的据点全部失守，红5军撤至城内坚守。部队沿城墙每隔两米挖一个单人散兵坑，白天主要由战士把守，夜间以干部为主。每晚，间隔5分钟就互相传递一个约一米长的木棍，以防止官兵打瞌睡。
敌众我寡，董振堂打算突围。城北是一片荒草地，离北山不远，敌军力量薄弱。于是，董振堂命骑兵团团长吕仁礼（少将）在北城下挖一个大洞，准备突围。
5军仅有一部电台，被黄超留在临泽，董振堂无法与西路军总部联系。董振堂在天主教堂召开营以上干部会议，宣读来信，下令：“坚决守住高台！我们人在高台在，誓与高台共存亡！”
从18日夜里开始，敌军从四周架梯轮番攻城，均被红5军击退，城墙四周遍布敌军的伤兵、死尸。敌伤兵日夜哀嚎，红5军官兵从城上扔下食物让其充饥。
19日凌晨5时，西路军总部获悉高台危急，派骑兵师从沙河堡赶来接应。骑兵师有名无实，仅有200人马，枪200支，遭敌拦截，师长董彦俊、政委秦贤道等大部官兵牺牲。
上午，形势更加紧张。董振堂带领50多名官兵，举拳宣誓：“我们要流尽最后一滴血，战斗到底！为革命牺牲是光荣的，革命一定能成功，自由幸福的日子一定能够到来。”
军长、战士均热泪盈眶。
20日凌晨，敌军全力攻城。红5军收编的民团把守西南角，一些人临阵动摇，敌军从该处登城。
红5军官兵依托城内建筑抗击，敌人纵火烧房，火势蔓延。
红5军政治部主任杨克明带领军直机关几名官兵，坚守一座院子。房子被炮弹击中起火，杨克明头部被烧伤，仍坚持战斗，直至中弹牺牲。
董振堂带领二三十名官兵，登上东门城楼，沿城头往东北方向冲，被敌军挡回来。再往东南角冲，冲出大约400米，董振堂左胸中弹，坠落城下。
几名部下赶到昏迷的董振堂身边，呼唤：“军长！军长！”
董振堂慢慢睁开眼睛，用很微弱的声音，断断续续地说：“我不行了，别顾我了，不走就冲不出去了，要血战到底！……（林炳才：《高台雄风——忆董振堂军长牺牲的前后》）
这是红军名将董振堂的遗言。
高台战斗，红5军3000余名官兵大部牺牲。敌人砍下董振堂、杨克明、13师师长叶崇本、参谋长刘培基的头颅，悬挂在城楼上示众。
张力勋左腿负伤，在群众的掩护下，安全出城，返回倪家营子。他的回忆是：“47年前曾经掩护我的两位老乡，常在我的脑海中萦回。是他们冒着危险营救我从虎口中脱险。我衷心地感谢，感谢人民，感谢营救过我的这两位老人，如果他们今天仍健在的话，已经是白发老人了。我衷心地祝愿他们健康长寿。”（张力勋：《高台血战》）
红5军100多名伤员被俘，据45团1营营部通信员陈永禄回忆：“红五军高台战斗失败，不仅部队损失惨重，高台群众在战斗中伤亡也不少，群众的财产损失更为惨重，特别是城东北角一带，民房成为废墟。战斗结束时又遭敌官兵抢劫。我出城时目睹沿途街巷内惨景，使我无比激愤。我军烈士和遭敌惨杀的群众尸体到处可见，鲜血成河，血腥气扑鼻。我在河西医院时听到敌军高台负伤官兵谈话，战斗中没有被红军打死者都发了大财。”（陈永禄：《难忘的历程》）
吕仁礼头部负伤，昏迷后被俘。在押送青海的途中，吕仁礼设法逃脱，辗转一年多，到达延安。
