李宗仁把坚守台儿庄正面核心阵地这个最艰巨的任务交给孙连仲指挥的第2集团军。徐州会战，孙连仲指挥的部队在台儿庄战役中起到了重要作用。
3月26日凌晨2时，进攻台儿庄的日军向支队司令部报告，台儿庄连续两日战斗，死20人，伤120人，失踪5人。这组数字虽然不大，但挫伤了日军的进攻锐气。
3月27日，日军增加兵力以后，继续向台儿庄进攻。这时候，日军的进攻队伍中已经有独立机枪第10大队、轻装甲车第10中队等火力和突击力比较强的兵种。战斗打响后，日军主力都被吸引到台儿庄附近。激战中，日军部分主力突入台儿庄的北门。第31师官兵奋力反击，阵地上你来我往，中国守军与日军展开了拉锯战。看到隆隆开过来的日军坦克，中国守军把十多枚手榴弹捆成一束，把日军的坦克炸毁。肉搏战时，中国军队官兵手中的大刀发挥了强大的威力，日本鬼子被砍得血肉横飞。
在激烈的战斗中，孙连仲司令几番训话，鼓舞了守城部队的士气。
李宗仁见守城部队士气高昂，日军已经就范，看到歼灭日军的时机基本成熟，命令第20军团用部分兵力监视当面的日军，主力迅速南下，围歼台儿庄的日军。
3月28日，日军的攻击越来越猛烈，坚守台儿庄阵地也越来越艰难。第31师官兵遵照李宗仁的命令，不畏牺牲，英勇抗击，始终坚守阵地。
台儿庄战斗到了关键时刻。这天，李宗仁严厉命令第20军团用主力攻击台儿庄以北的日军的侧背，配合第2集团军的官兵打击日军。
3月29日，天刚蒙蒙亮，孙连仲总司令就把师长、旅长和炮兵团长召集到一起，进一步明确了坚守台儿庄的坚强决心。孙连仲对大家说：“根据种种迹象分析，我们当面的日军正在等待援助。我们要以钳形攻势把这些日军歼灭。第31师仍然要坚守阵地，要牢固树立独自为战的思想。同时，我们还要组织部队出击，打阵地战，内外配合，就会主动得多。”
日军矶谷廉介中将为了迅速攻下台儿庄，命令濑谷启少将即刻把旅团主力投入战斗。
为了钳制日军南下，减轻台儿庄战场的压力，3月30日，第5战区命令第20集团军以一部兵力对峄县的日军进行佯攻，另以一部分兵力迅速向泥沟前进，协助第2集团军的部队打击围攻台儿庄之敌。这支中国军队千方百计破坏铁路、公路交通。切断峄县与台儿庄这两部分日军之间的联系。第89师第529团团长罗芳圭身先士卒，带领部队同日军浴血奋战。
这天，蒋介石命令第5战区的部队死守台儿庄。
李宗仁司令长官下达了第2集团军死守台儿庄阵地命令，同时，李宗仁再次严令汤恩伯率领部队迅速南下，协助第2集团军歼灭进攻台儿庄之敌。
3月30日，日军荣福团在台儿庄遭到中国军队的南北围攻，处境危险。濑谷旅长急忙命令赤峰团前往增援，自已则赶到台儿庄前线督战。日军竭力全力攻击台儿庄阵地。
3月31日，中国军队把进入台儿庄的日军全部包围起来了。
台儿庄的日军处于危急状态。为了策应台儿庄的战斗，日军第2集团军命令攻击临沂的坂本支队转向台儿庄，支援台儿庄战场。坂本支队于31日到达向城、爱曲地区，从侧面攻击第20军团，企图解第10师团之围。汤恩伯指挥的第20军团发现这路日军后，命令第52军和刚刚到达的第57军一起，围攻坂本支队。经过数天战斗，阻击了坂本支队，使日军增援台儿庄的计划没有实现。
4月1日，日军为了增加台儿庄方向的兵力，不得不把第8旅团第39联队的一个大队派遣到台儿庄。连日激战，台儿庄难以攻克，日军第10师团已经山穷水尽，矶谷廉介中将能够掌握的预备队，也只有5个营的兵力了。
4月3日，日军再次向台儿庄阵地上的中国守军发起攻击，不断投掷催泪瓦斯弹。当日军攻占台儿庄的东南门后，突入城寨百余米，台儿庄大部分市区的街道被日军占领。第31师官兵在激战中死伤2/3，仍然据守南关的几处阵地，同日军拼死抵抗。
李宗仁分析了战场全局情况，拿起电话，冷静地命令孙连仲：“第2集团军各部必须坚守至次日拂晓，拖住日军，等待汤恩伯军团前来增援。”
孙连仲毫无惧色，坚定地回答：“长官有此决心，我第2集团军牺牲殆尽不足惜，连仲亦以一死报国家。”
4月4日深夜，汤恩伯指挥的部队到达台儿庄的北面。这时候，台儿庄已经有2/3被日军占领。
李宗仁原来认为，汤恩伯的部队4日中午即可到达，因此，命令孙连仲于4日晚上向日军阵地反击。这天半夜，孙连仲总司令把阵地上所有能用的兵都集中起来了，伤员们来了，炊事员，担架兵，都站到了敢死队的行列里。这支数百人的敢死队正要出发，电话铃响了。
池峰城师长在电话中向孙连仲总司令请示：“是否可以撤退到运河南岸去？”
孙连仲毫不犹豫地命令：“部队决不能撤退。士兵打完了，你自己填上去。你填过去了，我就来填进去。有谁敢过河者，杀无赦！”
池峰城师长以必死的决心组织部队抵抗，把增援的日军击退。
这夜，第31师的敢死队在夜暗中冲入日军阵地。日军连日作战，没有料到中国军队会在半夜里突然杀出来，仓惶应战，溃不成军。敢死队的一场夜战，台儿庄阵地被孙连仲夺回了3/4。
4月5日，蒋介石打电报给汤恩伯，严厉指出：“台儿庄附近会战，我以十师之众对师半之敌，历时旬余未获战果。该军团居敌侧背，态势尤为有利，攻击竟不奏效，其将何以自解？急应严督所部于6、7两日奋勉图功歼灭此敌，毋负厚望。”
在蒋介石的严厉命令下，汤恩伯指挥部队向日军的后背攻击。
4月6日拂晓，台儿庄阵地上仍然是硝烟弥漫，几声枪响打破了黎明的寂静。濑谷启少将看到自己的部队损失惨重，已经难以继续战斗了，几经思考，命令部队停止攻击，收缩阵地，准备于傍晚撤出台儿庄。谁知，矶谷廉介中将接到以上情况报告以后，坚决不同意日军撤出阵地，命令他们立即转入攻势行动，去消灭台儿庄的中国守军。
濑谷启看到中将发来的命令，又看了看阵地上到处都是死伤的日本兵，把这份命令紧紧地捏在手中。日本军队军纪严明，这天晚上，有的日本鬼子却不顾军纪，逃离台儿庄。
晚上，中国军队对日军发动全线攻击。日军队形混乱，东奔西逃。第2集团军和第20军团的官兵内外夹击，越战越勇。
为了彻底歼灭溃逃的日本鬼子，第89师第529团团长罗芳圭同副团长李有余一起来到前沿阵地，仔细观察敌情。他们这支部队已经同日军激战多日了，现在要争取最后的胜利。突然，一发炮弹落下来，在罗芳圭团长的身旁爆炸了。罗芳圭团长身一歪，倒下了，弹片击中了他的头部和胸部。
警卫人员见状，大吃一惊，急忙过来抢救团长。
罗芳圭躺在一名战士身上，微微睁开眼，当他看到周围的人都为抢救他而忙碌时，想挣扎着坐起来。他用微弱的声音说：“余死无足惜，君等但须继续前进……”
一位年轻的团长终因流血过多，在大会战胜利的前夕，光荣牺牲了。
日军被击溃了。
至4月7日凌晨，被围困的日军濑谷支队除少数鬼子突围到达峄县固守待援外，其余全部被歼灭。
台儿庄大捷，又称台儿庄战役、鲁南会战或血战台儿庄。台儿庄战役的起止时间有几种说法，一般认为从1938年3月16日开始至4月15日结束。战役由滕县战斗、临沂附近战斗、台儿庄战斗和日军的溃退，中国军队的追击作战等部分组成。
在历时1个月的激战中，中国军队约29万人参战，日军参战人数约5万人。中方伤亡约5万余人，毙伤日军约2万余人 。
日军第二军司令官西尾寿造于3月上旬通过华北方面军向大本营申请“追剿眼前之敌，绝不是深入南进作战，为警备后方希望增加兵力”。得到日本大本营批准后，于1938年3月8日向第十师团作了传达。
3月13日，第二军正式命令第十师团消灭大运河以北之中国军队，第五师团以一部占领临沂后进入峄县附近配合第十师团作战。其企图是，“在达到以上目的后，大致在滕县、沂州一线，给以后作战作好准备”。
滕县和临沂均为鲁南要地，是日军由山东北部进到运河沿线必经之地，津浦铁路线上的韩庄和临枣支线上的台儿庄紧临运河北岸。日军欲进占运河以北地区，必须首先攻占滕县和临沂，而后进占韩庄至台儿庄一线。
板垣、矶谷两师团，是日军精锐之师，此次进攻，来势相当凶猛，大有一举围歼中国军队之势。日军以五六万兵力，在华北方面第二军指挥下，分两路向台儿庄进发。
一路为板垣第5师团，沿胶济路西进，进逼临沂；一路为矶谷的第10师团，该师团沿津浦路南下，直取台儿庄。日军第二军按计划实施的进攻，直接导致了滕县及临沂战斗，从而展开了鲁南地区的台儿庄战役。
