屈大均在《广东新语•石语》中有记载：“今坡山有五仙观。祀五仙人。少者居中持粳稻，老者居左右持黍稷，皆古衣冠。像下有古羊五，有蹲者、立者，有角形微弯势若抵触者，大小相交，毛质斑驳。观者一一摩挲，手迹莹然，诸番往往膜拜之。熏以沉水，有烟气自窍穴中出，若石津润而生云也。”
五仙观经过多次变迁、多次重建，现址位于广州越秀区惠福西路，为明代洪武十年（1337）所建。石门额刻有“五仙古观”四个大字，为清同治十年（1871）两广总督瑞麟所书。据文史家黄良描述：“观的建筑颇为宏敞，有五仙祠、玉皇阁、三元殿、五老堂、文昌阁、洪圣殿、金花庙、孙圣殿、关帝殿、御风亭、仙人迹、穗石亭、丹井、祖师坛等。”现仅存关门、后殿和东西斋的部分旧建筑。其中，后殿是广州地区现存的少数明代殿堂建筑之一；殿后有“岭南第一楼”，是广州唯一的明代钟楼建筑，其上部木构建筑曾毁于火患，现存者为清乾隆年间重建，其下部基座仍为明洪武年间原物。
殿前现存仪门为清代广府门式建筑；仪门前旧有木牌楼一座，从存世的老照片分析，牌楼的形制古朴，与后殿的许多构成方式类同，当是同时所建，己毁，仅存垫台和夹杆石，殊为可惜。
东侧有“仙人拇迹”，相传就是五仙降临时留下的足迹，其实是原生红砂岩上的一个脚印状的凹穴，为古时珠江水冲蚀而成，是晋代坡山古渡的遗迹。观内还存有明洪武大铜钟、明红砂岩麒麟、宋至清14方碑刻等文物，明清两代曾先后以“穗石洞天”和“五仙霞洞”列入羊城八景。
宋古成之有诗咏五仙观：
拨破红尘入紫烟，五羊坛上访神仙。
八间自觉无闲地，城里谁知有洞天。
宋广州刺史蒋之奇也有竹枝词云：
州宅之西敞华堂，我来跪拜焚宝香。
堂中塑像何所见，乃有五仙乘五羊。
与蒋之奇过从甚密的诗人郭祥正，也有《五羊石》一诗：
番禺五仙人，骑羊各一色。
手持六秬穗，翱翔绕城壁。
翩然去乘云，诸羊化为石。
至今留空间，异像犹可识。
现有资料经整理后，可以大致理出五仙观的建设大事纪录来：
估计不晚于晋，广州开始有专设之祠，以祭祀五仙（当时未必名为“五仙观”）。
北宋熙宁年间（1068-1077），五仙观已设于南海郡治之西，古名十贤坊，现广仁路社人坊一带。从宋人句“州宅之西敞华堂”，对当时规模可窥一斑；
北宋元祐至政和三年间（1086-1113），其中某年，五仙观因“守吏更治州舍”，而迁往别处（何处不详）；
北宋政和四年（1114），经略史张劢在十贤坊复建五仙观；
明洪武元年（1368），平章廖永忠领兵南下底定广州，以五仙观为寓所，不慎失火，观毁，旋又重建；
明洪武十年（1377），布政使赵孠坚以观地为广丰库，遂迁五仙观，改创于郡西坡山禁种楼后（现址），建通明阁，塑五仙像于其中；
明成化五年（1469），布政使张瑄重修；
明嘉靖十六年（1537），重建后殿；
明万历二十六年（1598），重修；
清顺治十二年（1655），重修；
清雍正元年（1723），提督冯毅重修，并立碑记；
清乾隆十六年（1751），重修；
清乾隆二十四年（1759），重修各殿照壁、桅杆；
清嘉庆十七年（1812），重修；
清道光二十四年至二十六年（1844-1846），重修；
1999年：广州市文化局、越秀区政府对五仙观作全面整治维修。
通过这份纪录，可看出五仙观发展变迁的大致情况。由于所掌握资料的匮乏，以上纪录必有所漏缺。至于建筑布局、规模的问题，则由于缺乏资料而不能了解，只知一二。
民间流传着一个故事，话说很久以前，在广州有户人家，姓郑，生活十分穷困，父亲早逝，留下三个孩儿由母亲养大成人。有一年，广州闹饥荒，郑家三兄弟就饿死了两个，剩下最小的郑恩和年老的母亲，靠着乞食相依为命。
一天，郑恩来到五仙观附近，这时，一位道长从观内走出来，关切地问他的状况。郑恩就将自己家中苦况一一告之。道长听完，面上流露出可怜的神色，就说：“你靠乞食，终非长久之计，现在我教你一套锣鼓，学会就可以保你一世衣食无忧的了。”
郑恩听后好高兴，便虚心地跟道长学这套锣鼓技艺，这套锣鼓听来很特别，它包含了吹拉弹打几种乐器的表演效果。郑恩学成之后，由于锣鼓技艺超群，表演获得广州民众的喜爱，郑恩就远近闻名，人人都叫他“锣鼓三”。
“锣鼓三”在街头卖艺，每日照例早出晚归，收入不少，生活亦就日渐富裕起来了。但他并没有忘记那位道士对他的恩德，为了报答这位道士，一天，“锣鼓三”专程到五仙观查访，但观内众人无一认识这位道士，“锣鼓三”甚觉奇怪，忽然他看见了五个碑刻仙人石像，其中一个正是自己要报答的那位道士，他这才明白，当年那位道长，原来是仙人的化身。

五仙观 锣鼓三