《射鵰英雄傳》中，東邪西毒南帝北丐中神通，天下五絕各有所長，都有其獨到之處。對於書中著墨頗多的黃老邪，他不但武功高絕，更擅長琴棋書畫乃至於奇門八陣。但這樣一個江湖大佬，金庸書中卻很少提及黃老邪的武功來歷，師承門派。
後來在“新修版”中，金庸對《射鵰英雄傳》也作了不少改動，除了備受讀者詬病的有關黃老邪和梅超風的師徒戀暗示以外，金庸也加入了黃老邪的身世來歷描寫。
他在文中借用梅超風敘述往事，講出了黃老邪的身世，祖上本是朝中大臣，為了替岳飛伸冤而受到秦檜迫害，黃老邪的太祖被斬，全家充軍雲南。
太師祖忠心耿耿，在朝廷外大聲疾呼，叫百官與眾百姓大夥兒起來保岳飛。秦檜便將太師祖殺了，家屬都充軍去雲南。師父是在雲南麗江出生的，他從小就讀了很多書，又練成了武功，從小就詛罵皇帝，說要推倒宋朝，立心要殺了皇帝與當朝大臣為嶽爺爺跟太師祖報仇。
在這段描寫中，看似只是提到了黃老邪的身世，並沒有說他的武功師承門派。但宋朝流放犯人，從《水滸傳》中可以看出個大概，武松是發配的滄州，宋江是發配的江州，而盧俊義則是發配沙門島。從一些歷史典籍中記載來看，也是以兩廣地區為主。
熟悉歷史的金庸，為何偏偏要說黃老邪一家流放雲南呢？這顯然是另有所指。而說到雲南，我們很容易就聯想到金庸筆下有關雲南的高手門派。
第一就是雲南大理段氏，但大理段氏絕學一陽指、六脈神劍都不外傳，而且在《射鵰》中也有一個大理段氏高手一燈大師，所以顯然不是大理段氏。
而在《天龍八部》中，段譽得到“北冥神功”與“凌波微步”所在的無量山就在雲南麗江邊上不遠。但從黃藥師武功絕學來看，與段譽顯然不太相干。無量山倒是讓人聯想到《天龍八部》裡面另外一個武功高絕的門派，那就是“逍遙派”。無崖子與李秋水此前就是在無量山洞中隱居，琅嬛玉洞藏有各派武功典籍，不過這些典籍後來被王語嫣家裡搬到姑蘇去了。
而逍遙派傳到虛竹手裡，虛竹所在原本是縹緲峰靈鷲宮，從書中描述來看，無量山也在縹緲峰的勢力範圍。無量劍派的左子穆等人還成為了三十六洞之一。那麼，黃老邪與逍遙派的關係就更加明朗起來了。
再來看看黃老邪都會些什麼，除了武功之外，他琴棋書畫都通曉，還精通天文地理、奇門八卦。而逍遙派的“函谷八友”那八個弟子，也都是各自通宵一門技藝，從琴棋書畫，到機關製作。無崖子、蘇星河，更是在這方面一人獨精多項，這與黃老邪所會，又更加貼近了。函谷八友裡面薛慕華號稱閻王敵，是精通醫術之人。黃老邪又被人稱為黃藥師，說明在醫術藥理方面也有獨到之處。
除了武學以外，又有哪個門派能精通如此多的偏門技藝？唯有逍遙派。
逍遙派的武功裡，“天山折梅手”與花有關，黃老邪的武功也有“落英神劍掌”，也與花有關。天山童姥教虛竹扔松果打人，乃是將松果扣在手指上，以中指發力彈出去。這與黃老邪的“彈指神通”可以說是幾乎一樣。
由此可以推測，生在雲南麗江畔的黃老邪，從小聰明好學，遇到了在雲南大理一代活動的逍遙派傳人。看到黃藥師天資聰穎，於是收為弟子，傳他逍遙派武功。由此也可以解釋黃藥師為何天性瀟灑，不拘禮法，因為逍遙派門人就是生性瀟灑，金庸筆下有一章就叫“且自逍遙沒誰管”。