揚州最早生長瓊花的后土祠，始建於漢成帝元延二年（公元前11年），祀奉后土夫人。因后土是萬物賴以生長的母體，故這位神祗又被稱為：“后土富媼”。唐中和二年（882年）， 淮南節度使高駢鎮揚州，增修屋宇，備極侈麗，易名日“唐昌觀“。宋政和年間（1111-1118年），徽宗趙佶根據《漢書-禮東志）：“唯泰元尊，媼神蕃釐”的郊祀歌辭，復改其名為“蕃釐觀”，並賜匾額，以喻多福。由於觀內有瓊花一株，名聞遐邇，故民間一直稱為瓊花觀。
在歷史的長河裡，這座道觀也曾經歷幾度廢興，高駢增修的唐昌觀在唐末軍閥混戰中燒燬於前，宋徽宗題額的蕃釐觀又在金兵兩次攻陷揚州時破敗於後，然因祠內供奉的后土夫人系主管萬物生長的一位神祗，歷代守土官員須於立春前一日來蕃釐觀迎春，以祈物阜民殷，因得屢廢而屢建。據《揚州畫舫錄》引吳薗次《揚州鼓吹詞序》雲：“土風立春前一日太守迎春於城東蕃釐觀。令官妓扮社火春夢婆一、春姐二、春吏一、皂隸二、春官一。次日打春，官給身錢二十七文，另賞春官通書十本。是役，觀前里正司之。至康熙間，裁樂戶，遂無官妓，以燈節花鼓中色目替之。” 正因迎春祀典的相沿成習，自明迄清，遂得迭加修葺，構成一組宏麗的建築群。
嘉靖四十一年（1562年），觀內西隅新建深仁祠，祀奉築城御倭的巡按御史吳百朋、巡鹽御史崔棟及揚州知府吳桂芳與石茂華。萬曆二十年（1592年），揚州知府吳秀覆在觀內三清殿後的后土祠基址，建成一座三層的彌羅寶閣，供奉玉皇大帝，題額曰“清世界”。登臨其上，全城風物，盡收眼底。閣西有井，相傳南宋的賈涉任揚州太守時，曾“有黃冠（道士）乘雲而下，入井中。因縋死囚下視，見一洞，署曰‘玉勾’， 復使入，則水漫不可尋矣”，故井欄題日“玉鉤洞天”，成為觀內一處勝蹟。此外，又有無雙亭、芍藥亭、竹軒花亭諸勝，四周環栽花樹，花時一片芳香，遊客如雲。自此，遂成為江淮間頗具規模的一所道觀，常有達官名人借寓其間。順治、康熙期間，江西龍虎山第五十二代天師張應京及五十四代天師張繼宗先後在觀內羽化，一度曾被道教中人視為 “聖地”。《儒林外史》作者吳敬梓在書中就曾多處提及瓊花觀。
惜彌羅寶閣於乾隆四年（1739年）及光緒初兩度遭火，此後未再復建，沿至民國年間，觀內佔地尚有百餘畝，惟多處亭臺年久失修，漸次破敗，僅存觀前的石牌坊、兩側枋楔雕有金烏（日）、玉兔（月）影象、坊額三楹，嵌有清人劉大觀題的“蕃釐觀”石額。劉系山東章邱人，工詩善書，在廣西任知縣，乾隆間因丁憂來遊蘇、杭及揚州，曾評及這三地的景物說：“杭州以湖山勝、蘇州以市肆勝，而揚州以園亭勝”，識者以為至言。當時除主殿三清殿外，另有貯存道教經典的藏經樓、倉廒及道士居室多間。1951年，揚州財經學校駐此，拆除主殿，改建大禮堂，此後，瓊花觀故址大部分劃歸市立第一中學。為了搶救文物古蹟，揚州市政府於1962年將瓊花觀定為市級文物保護單位。文革初，造反派拆除了門前的石牌坊，後經市一中將門端“ 蕃釐觀”石額，砌入校園內的瓊花臺上。
為了促進揚州的旅遊事業及外向型經濟的發展，擴大揚州這座歷史文化名城在國內外的知名度，揚州市政府於1990年作出了復建瓊花觀的決定。第一期工程於1993年開始動工，1996 年竣工。工程重點是將市五中內興教寺舊大殿拆遷來此作為三清殿，恢復山門並按原石額拓本重新嵌置“蕃釐觀”石額，復建了觀前的石牌坊，山門內的東西兩廊廡建上下共四十八間樓房。東廡中段有揚州市中山學校購置的上下各三間，取名“逸仙樓”，用以紀念民主革命的先行者孫中山先生。其餘各室已先後闢為茶座、冷飲室、餐館和小商品市場，以便利遊客們購物、憩息和果腹。主殿前一株四百樹齡的銀杏，春來已抽新綠，使這座歷盡滄桑的道觀，顯示著又獲新生。
二期工程的主體設施是修復三清殿後的瓊花園，已於1999年竣工，並對外開放。園中除玉鉤古井依然是舊時遺物外，還復建了瓊花臺、無雙亭以及一座聚瓊軒。園內種植瓊花多株，並雜栽玉蘭、蠟梅、雪松……多種花樹，參差錯落地掩映於亭臺池館之間，在絢爛中別具淡雅，使這座歷史悠久的寺觀園林，鬧中取靜地再現於老城區的市中心，吸引著中外遊人來此訪古探幽，觀光遊憩。
