黄药师，乃是天下五绝之一。号称东邪，他在书中一套弹指神功和桃花岛绝技让人赞叹，而且黄药师的武功，放眼江湖都是顶尖的存在。桃花岛武功轻巧飘逸，洪七公师承丐帮，南帝师承大理段世，欧阳锋有祖传的蛤蟆功以及白驼山庄，唯独黄药师的桃花岛没看到前人，那么他的师傅到底是谁？
很多人猜测他的师傅存在于《天龙八部》中，因为金庸笔下另一个百年难遇的奇才就是逍遥派的无崖子，无崖子不仅“武学修为极高，而且学究天人，琴棋书画、医土花戏无一不晓，无一不精。”还有无崖子的徒孙函谷八友，每个人都专精一项技能，可是我认为虽然无崖子和黄药师都是“琴棋书画无一不晓，无一不精”可是并不代表黄药师师承逍遥派，因为这些东西是教不会的，只能靠天赋。
而在《天龙八部》中出场的时候，也是因为虚竹要解一盘棋，面对这个难题，虚竹本身而言是不懂这些的，但是偶然间解开了这个谜团，也是因为这样的原因，无崖子，天山童姥等人的秘密也就随之公开了，不过这些人中真正属于逍遥派的也就是无崖子和苏星河。
可惜的是两个人在这场战争中，就已经去世了，所以之后而言真正属于逍遥派的也就是虚竹了，随着剧情的发展，虚竹一个人也算是多个门派的掌门人，而在这部小说结束的时候，也说了最终逍遥派中的人出来虚竹之外，还有八个人，他们合称函谷八友。
黄药师就是函谷八友的徒弟，而他跟冯衡，也是在江湖认识的。两人就在江南之地结伴同游，相谈甚欢，一路上也结识了太湖边上陆家庄的公子陆乘风，牛家村的曲灵风还有刁蛮任性的梅若华等人，他们都被黄药师武功才识折服，倶都要拜黄药师为师。
黄药师几次推辞，他们就一路跟随，无奈之下黄药师就和阿衡乘船来到桃花岛躲避，桃花岛主看到黄药师相貌人品俱佳，和女儿阿衡又情投意合，就同意了两人的婚事，黄药师就和阿衡在桃花岛拜堂成亲。
谁知陆乘风、曲灵风和梅若华等人也来到桃花岛，要拜在黄药师门下，阿衡看他们意志坚定，就劝说黄药师收下他们。黄药师听从阿衡意见，收下他们为徒。就这样，黄药师创造了桃花岛，建立了强大的桃花岛。