关于汾河的最早文字记载是《山海经》：“管涔之山，汾水出焉。”之后，《水经注》：“汾水出太原汾阳北管涔山。”《汉书·地理志》汾阳：“北山，汾水所出。”《括地志》：“汾水源出岚州静乐县北三十里管涔山。”可见，古籍中多有汾河源头记载，均指向山西省北中部的管涔山，但具体位置语焉不详。
汾河的开发历史很早，西周、春秋时期，汾河上航运就开始了，公元前647年，晋国发生饥荒，秦国用可载数万斤粮的木船从关中出发，沿渭水、黄河、汾河向晋国源源不断地输运了大批粮食。
战国、秦汉时期，汾河流域的水利灌溉事业和垦植业受到重视，汉武帝时，为了发展河东的农业生产来避免三门峡以东漕运的艰难，河东郡太守番系建议“穿渠引汾溉皮氏（今河津）汾阴下“，后来，按照番系的建议，发卒数万人作渠，渠成后有所收益。东汉明帝永平年间（公元58一75年）曾计划在滹沱河之间修一条东西向的运河，以“转山东之漕，用实秦晋”，其路线据清代地理学家杨守敬考证“当自交城，太原北山，绝汾，经阳曲。忻州之北至定襄会滹沱。
隋唐两代，是汾河漕运和灌漉事业兴盛发达时期，隋开皇三年（公元583年）长安仓储空虚，诏漕汾晋之粟以给京师，“漕舟由渭（水〉入河，由河入汾，以漕汾晋”（《晋乘·略》卷十四），唐开元年间，裴耀卿“益漕晋，绛……之租输诸仓，转而入渭，凡三岁，溜七百万石，省陆运庸钱三十万缗”。（《新唐书·食货志》）、可见，汾河通航能力很高，漕运量极大。
宋元时代，由于都城的迁移和宋初多次引汾河与晋水灌太原，人为地破坏了汾河在太原段的堤防。因之，汾河航运较前急剧低落，长时期内没有漕运的记载，仅有少量的行船活动。
据文献记载，唐代中叶以后，秦岭、陇山一带的树木已砍伐殆尽，不能够满足建筑宫殿的需要“近山无巨木，求之岚胜间”，（《新唐书》卷137《裴延龄传》）。吕梁山又成了采伐术材的一个重点地区，因为它距离开封、洛阳、北京较近兼有黄河、汾河及陆运之便，在诸都城附近砍伐完后，必取诸山西“晋之北山有异材，梓匠工师为宫室求木者，天下皆归”（柳宗元《晋问》）。到北宋大中祥年间（公元1010-1016年）为修筑宫殿，在岚县、离石、汾阳一带采伐柏木，伐木工多达三四万人，砍伐的大量木材，“先沿支流漂入汾河，后束为木筏顺汾河而下，至河津入黄河，沿河东下至于开封”（史念海《历史时期黄河中游的森林》《河山集》二集三联书店1981年版〉。因此，当时就出现了万筏下河汾的情景。汾河流域历经唐宋金元各代垦殖、采伐，以前林草茂密的青山绿水变成了满目荒芜的光山秃岭，水量大减，水土流失加剧。灌溉航运便利的汾河逐渐变成了旱涝无定，水源日渐枯缩，赤足可涉的小川浊流。
到光绪三年大旱前，由于人口的压力，乱采滥伐森林，垦荒屯植的现象有增无减，水土流失日益剧烈，汾河水量大减。到明代，河上只能“秋夏置船，冬春以土桥为渡”，而到清代，虽曾有人设想“通舟于汾，制船如南式”，但汾河已无航运之可能了。