我国先民在探讨自然界万物构成的过程中，运用分析的方法寻找构成万物的单体物质，在春秋时期有了“五材”说，认为世界上的一切东西都是由金、木、水、火、土五种基本材料构成。如《左传》记载，宋国的子罕说：“天生五材，民并用之，缺一不可。”《尚书大传》也有“水火者，百姓之所饮食也；金木者，百姓之所兴作也；土者，万物之所滋生也，是为人用”的说法。
这里所说的金木水火土还仅仅是指五种基本材料，尚不具备哲学上的意义。
“五行”一词最早见于《尚书洪范》。据书中记载，周武王即位后向商朝遗臣箕子请教国事，箕子讲了鲧和禹治理水患的故事。鲧用填塞的办法治水，违背了水向低处流的特性，自然正常秩序被破坏了，所以上帝震怒，杀死了鲧。而大禹治水时，上帝赐给他洪范九畴，禹才治理了水患。所谓“洪范九畴”即九种大法的意思，在这九种大法中第一个便是“五行”。
书中说：“五行，一曰水，二曰火，三曰木，四曰金，五曰土。水曰润下，火曰炎上，木曰曲直，金曰从革，土爰稼穑。润下作咸，炎上作苦，曲直作酸，从革作辛，稼穑作甘。”大禹之所以治水成功，是顺应了“水曰润下”的特性，导水下流，水患才得以治理。五行的“行”字，古文写作“▲”，象街衢道路之形，有通路和规律的意思。所以五行的概念已经不仅仅是指金木水火土五种具体的事物，而是增加了这五种事物所表现的特性以及气味等抽象的内容了。由此而发展起来的五行学说是研究木火土金水五种物质性质规律及其相互关系的学说。