在民間傳說中，農曆三月初三是王母娘娘的聖誕，這一天，王母娘娘要在瑤池舉行盛大的蟠桃會，宴請諸路神仙，眾仙也將受邀赴宴作為了一種榮耀和身份的象徵，因此農曆三月初三也成為了一個重要的道教節日。傳說在這一天，五湖四海的神仙、西方極樂的佛祖都齊聚泰山來給西王母賀壽。
眾神來到泰山，欣賞著無邊的美景，品嚐著瑤池的玉液瓊漿，無不是流連忘返。很多神仙來了就不想走了，有的在泰山建廟立宗，有的乾脆找個山洞就繼續修行。太上老君相中了半山腰的三陽觀，元始天尊則看上了泰山西麓的傲徠峰，鬧海的八仙留戀瑤池的美酒，住在了王母池。木匠的祖師魯班乾脆就住在了極頂的魯班洞。好地方基本都選得的差不多了，西天的佛祖只好在泰山周邊蓋起了靈巖寺。孔聖人來得晚，不得已，只好在泰山頂上碧霞祠旁邊和泰山老奶奶做了鄰居。儒釋道三家的鼻祖級人物都匯聚泰山。
神仙齊聚泰山，免不了互相往來，交流感情。於是，這西王母就召集南海的觀音，泰山的碧霞元君商議，眾仙家總是在這瑤池聚會也不是辦法，一年一次倒是正常，可是每天如此就太麻煩了，總要選一個大家聚會的場所方才合適。
碧霞元君左思右想，既要讓眾仙聚的開懷，又能隨時見到他們。此地既要離著自己近，又得有這風月無邊的景緻。於是，元君便想到了紅門宮北側的一處山坳，此處青山四圍，綠樹成蔭，清流夾道，一步一景。等到元君與大家這麼一說，眾人齊聲說好。於是，就在這個位置蓋起了一座萬仙樓，聚集萬仙，護佑四方。