1988年，5岁的林丹开始接触羽毛球。在业余班，林丹是唯一用左手打球的孩子，教练因此对他特别关注。虽然因为年龄太小，林丹的技术水平在班里并不是最好的，但他的身体素质相对突出，班里进行技术评定后，他的基本动作、步法，前后摸球线等项都很优秀。1992年，9岁的林丹顺利进入福建省体校，林丹因不习惯宿舍的生活、想念父母，使他在省体校的第一个学期是伴着泪水度过的。1995年，12岁的林丹在全国青少年比赛中夺得男子单打冠军，被解放军队看中，不久便进入八一体工大队，成为一名军人。1997年，林丹随解放军队到南日岛体验部队生活。在那里，专业羽毛球选手每天要跟部队官兵一起出操、站岗，在大太阳底下站几十分钟、夜间紧急集合等。除了操练，还要跟部队同吃同住。2000年10月，林丹进入中国国家羽毛球队。
2002年3月，林丹参加全英羽毛球公开赛并获得男单第3名。3月31日，在韩国南部城市丽水举行的韩国羽毛球公开赛上，代表中国队出站的林丹在男子单打决赛中以3:1战胜韩国队的孙升模并获得冠军。8月22日，不满19岁的林丹登上国际羽联排名第一的位置并保持一周的时间。
2003年4月6日，日本羽毛球公开赛男单决赛上，缺少大赛经验的林丹以12比15、10比15的比分败给国家队队友夏煊泽，获得亚军。7月31日，在英国伯明翰国家室内体育馆举行的第十三届羽毛球世锦赛男单1/4决赛上，第一次参加世锦赛的林丹输给队友夏煊泽，止步八强。9月28日，在丹麦奥胡斯进行的丹麦羽毛球公开赛男单决赛中，林丹以2比0战胜队友陈郁，夺得冠军。11月16日，在中国羽球公开赛上，林丹在决赛中以2:0战胜马来西亚名将黄综翰。
2004年3月7日，在瑞士羽毛球公开赛男单决赛中，林丹以15:12和15:6的比分击败鲍春来获得冠军。这是他继去年丹麦公开赛夺冠以来，在参加的5项公开赛中获得的第四个冠军头衔。而该项赛事官方网站也称林丹为SUPER DAN（超级丹），原因是看林丹打球是一种欣赏。3月15日，已成为中国队男单一号人物的林丹在击败了丹麦名将彼得·盖德之后夺取了自己首个全英羽毛球公开锦标赛冠军。4月10日，日本羽毛球公开赛在东京进行，在男单1/4决赛上，林丹在比赛中被队友鲍春来以2:0击败，止步半决赛。5月16日，林丹在汤姆斯杯中担当主力，一举击败垄断该项赛事长达5届的印度尼西亚队，帮助中国队时隔14年再度捧起汤杯。8月，在2004年雅典奥运会羽毛球男单比赛中，林丹遭受了他职业生涯最大的一次“滑铁卢”。以世界排名第一身份参赛的他，在首轮比赛中爆冷败于新加坡球手林羽峰。11月14日，在中国羽毛球公开赛男子单打决赛中，林丹又一次以2:0击败了队友鲍春来，蝉联了中国公开赛男单的冠军。