我国浮桥建造的历史可以追溯到公元前8世纪，据《诗经·大雅·大明》记载，周文王为了迎娶妻子，曾在渭水上架设浮桥，这一事件距今已有3000多年，堪称最早的浮桥建造记录。这一成就比古希腊历史学家希罗多德记载的大流士王在博斯普鲁斯海峡建造的浮桥还要早500多年。
浮桥在战国时期以前被视为稀罕之物，只有天子专享。然而，随着社会变革，“礼崩乐坏”，这一规定不再适用。进入汉唐时期，浮桥的应用日益普及，成为连接水路交通的重要手段。许多地方在建设永久性桥梁之前，会先造浮桥进行水情调查，如洛阳桥就是其中的典型例子。据统计，长江和黄河上曾搭建过近二十座大型浮桥，其中大部分为军事用途。
公元前541年的春秋时期，秦景公的母弟后子针因避祸，在黄河上架设浮桥，带着大量的财富逃往晋国，这可视为黄河上的第一座大桥。在长江上，首座浮桥是东汉光武帝在公元35年的建武十一年，公孙述在荆门和虎牙之间建造的江关浮桥，试图切断汉光武帝的水路交通，但最终被汉军摧毁。
到了隋朝，公元605年的天津桥是首座使用铁链连接船只的浮桥，展现了当时的工艺进步。唐太宗李世民的诗作中，生动描绘了他乘坐御车过桥时，船只、鹢鸟图形和缆索的美景，形象地展现了浮桥在江河中的生动景象。
用船或浮箱代替桥墩，浮在水面的桥梁。军队采用制式器材拼组的军用浮桥，则称舟桥。浮桥的历史记载以中国为早。