1938年3月14日，津浦线北路日军矶谷廉介第十师团南下猛攻滕县，同川军王铭章第一二二师血战三昼夜，17日滕县失守，师长王铭章殉国。20日，日军第十师团占领峄县，旋即向台儿庄突进。
在津浦线右翼，日军板垣征四郎第五师团于1938年2月上旬自潍坊向临沂进攻，第五战区司令长官李宗仁急调张自忠第五十九军同庞炳勋第四十军协同作战，于3月12日取得了临沂大捷。嗣后，张庞两军在临沂一带同日军多次激战，牵制第五师团达十余日，粉碎了日军第十、第五两个师团会攻台儿庄的作战计划。
3月23日，日军第十师团一部同台儿庄守城部队孙连仲第二集团军池峰城第三十一师骑兵连在台儿庄以北康庄附近接战，台儿庄战役开始。次日，日军两千人在飞机大炮配合下猛攻台儿庄，突破北墙，有两百人冲入庄内，被中国守军全歼。25日，中日两军在台儿庄北的刘家湖血战。27日晨，日军攻破台儿庄北门，开始了犬牙交错的拉锯战，持续多日。28日夜晚，日军猛攻台儿庄西北角，西门告急，三十一师副师长康法如率队反击，同日军巷战。
30日，第二十七师派出敢死队增援西北角，同日军展开肉搏战，打退了日军的进攻。4月3日，日军占领台儿庄东南门，投掷催泪瓦斯弹，守军死伤十之七八，全庄四分之三陷入敌手。在这危急关头，在台儿庄中央防线北面作战的汤恩伯第二十军团从枣庄南下，4月6日，在台儿庄东北的底阁、杨楼大败来自临沂的坂本支队，并与孙连仲集团军会师。中国军队士气大振，日军发生动摇。
6日下午，日军从台儿庄北撤，中国军队全线反击。当晚肃清庄内全部残敌。7日凌晨，中国军队发起追击，历时半月的台儿庄战役取得了胜利，消灭日军一万余人。台儿庄战役的胜利，打击了日军的嚣张气焰，振奋起全国军民的抗战精神，从而提高了中国的国际威望。
在历时1个月的激战中，中国军队约29万人参战，日军参战人数约5万人。中方伤亡约5万余人，毙伤日军约2万余人(日军自报伤亡11984人)。
它打击了日本侵略者的嚣张气焰，坚定了全国军民坚持抗战的信心。这次战役鼓舞了全民族的士气，改变了国际视听，消灭了日本侵略者的威风，歼灭了日军大量有生力量。此次大捷是中华民族全面抗战以来，继长城战役、平型关大捷等战役后，中国人民取得的又一次胜利，是抗日战争以来取得的最大胜利，也是徐州会战中国民革命军取得的一次重大胜利。