从前，五仙观并不在现今我们知道的坡山古迹，而是在如今的西湖路药洲遗址一带。有北宋古成之的诗为证，诗云：
拔破红尘入紫烟，五羊坛上访神仙。
人间自觉无闲地，城里谁知有洞天。
竹叶影繁笼药圃，桃花香暖映芝田。
吟余池畔聊欹枕，风雨萧萧吹白莲。
这首诗形象鲜明地描述了药洲白莲池的美丽景色，竹叶影繁，烟笼药圃，桃花香暖，风吹白莲，的确殊增胜慨，令人神往。
但是到了明代，五仙观曾遭遇一场大火，此后就搬到现在的惠福西。这其中还有一段故事。
洪武年间，五羊仙人的神像是供奉在古药洲濂溪祠前莲池上的春真观里的。有一天，知县廖大人前来祭祀，三牲五礼，一番祭拜之后，见天气已晚，就住在观中。谁知睡到半夜，突然听到有人喊：“走火啦，走火啦，快来人啊！”一时间观内是沸反盈天，人走马嘶，吓得知县大人连鞋都顾不上穿，衣衫不整，慌忙逃命。走到门口，大火已经烧到，断了去路，幸好仆从忠心，冒死冲进观内才把他救了出去。知县大人眉毛胡子都烧掉一半，连夜灰头土脸地回县衙去了。
为什么五仙观会突然起大火呢？原来这廖知县平日借着官威在城内作威作福、贪赃枉法，五羊仙人算准他会来祭祀，于是就施法起火，想借此对他小惩大戒一番。见目的已达到，便召唤在莲池里居住、负责守护观庙的小青龙来灭火。仙人连唤了三声：“青龙速速现身！”却青龙的影子都不见。那年纪较轻的仙人便急了：“这小青龙，原来早约好的，事成后由他来作法降雨救火，现在跑哪里去了？”其中一个年纪较长的仙人掐指一算，原来小青龙竟跑到南海，贪玩忘了时辰，误了大事。于是五羊仙人急急去天庭搬救兵，请来雷公雷母，作法下起了一场豪雨。这场大雨足足下了一天一夜，才把五仙观的大火扑灭，可惜整座观也毁了。
廖知县经此一事，顿然悔悟，痛改前非，成了勤政爱民的好官，并在如今的惠福西路选址重建五仙观。而小青龙因为擅离职守，被南海龙王罚它永驻五仙观，所以世间相传修建五仙观时，适暴雨台风，街道水淹。五仙观旁边不远处有一股泉水由地涌出，地水浊而泉水清。后来街道水退，而泉仍汨汨。众人挖掘成井。水味甜，因名甜水井。其实这甜水井正是小青龙化身而成。现在五仙观附近还有一条以甜水为名的巷子。
后有人在观内刻石环书五字：“可以清心也”。回旋读之，可有多种读法，如：以清心也可；清心也可以；心也可以清；也可以清心。读来颇有兴致。不过现在已经碎失无存了。

民间传说