阿拉伯音乐起源于贝都因人的游牧生活，最早的韵律是赶驼者按照骆驼行进的节奏吟唱的曲调。贾希里叶时代，出现了商旅驼队吟唱的民谣，多神崇拜的祭祀仪式往往也伴以相应的颂歌。在伊斯兰教产生之前，阿拉伯人非常爱好诗歌，并将它们谱成了歌曲，类型多种多样，包括宗教歌曲、商队歌曲、战争歌曲、爱情歌曲等等。与之相应的还传入了一些乐器，其中铃鼓、长笛、双簧管、皮面琵琶等，成为阿拉伯人常用的乐器。
阿拉伯人民非常喜爱音乐，认为音乐和诗歌对改善社会关系、纯化男女关系起到促进作用。
伍麦叶时代，宗教情感淡薄，娱乐成风。在希贾兹的两座圣城，云集着四方的歌手。麦加的黑人歌手赛义德·米斯哲哈曾经在叙利亚和伊拉克学习拜占廷音乐和波斯音乐，将阿拉伯诗歌谱成曲调，可谓伊斯兰音乐的开山鼻祖。继赛义德·米斯哲哈之后，伊斯兰世界的乐坛又相继出现了4位著名歌手：伊本·苏拉吉，突厥血统，曾经师从赛义德·米斯哲哈学习音乐，相传他将波斯琵琶引入希贾兹，并且首先使用乐鞭指挥演奏；盖立德系柏柏尔血统，曾经向伊本·苏拉吉学习音乐，后来成为名噪一时的歌手；伊本·穆哈拉兹，波斯血统，被誉为阿拉伯的响板手；麦尔巴德，黑人血统，曾在大马士革的宫廷演唱歌曲，备受哈里发的恩宠。麦地那的歌妓迦米拉，堪称希贾兹乐坛的佼佼者。伍麦叶时代，波斯的板面琵琶和木制笠笛等许多乐器相继传入。伍麦叶王朝的哈里发和达官贵人大都效仿波斯风俗，经常举办歌舞晚会。
阿巴斯时代，阿拉伯音乐进入了它的辉煌时代，乐坛歌手也是层出不穷。马赫迪在位期间，麦加人谢雅图和摩苏尔人易卜拉欣颇具音乐天赋。据说，谢雅图的歌声比洗热水澡更能使发冷的人感到温暖；易卜拉欣竟然在指挥数十名乐手演奏琵琶的时候发现其中1人的第二根琴弦拉得不够紧。后来，易卜拉欣成为哈伦的清客，受到哈里发的礼遇，经常得到数额可观的赏赐。这一时期，音乐理论在阿拉伯世界也有了长足发展，穆斯林将希腊语的音乐著作译成阿拉伯语，有一些希腊语的有关音乐理论的著作也译成了阿拉伯语广泛流传。巴格达的音乐家易司哈格·穆绥里撰写了数部著作，总结音乐理论和创作实践，论述旋律和节奏的构成。著名学者法拉比深入探讨了音乐的结构、曲调和节奏，所撰写的《音乐大全》和《节奏分类法》，被时人视为音乐理论的权威之作，并对西方音乐产生一定的影响。