汉晋时，“初有五仙人，皆手持谷穗，一茎六出，乘羊而至。仙人之服与羊各异，色如五方。既遗穗与广人，仙忽飞升以去，羊留化为石。广人因即其地为祠祠之。”
这是宋张劢《广州重修五仙祠记》碑记载的五仙观建观的缘起-古时广州人为了纪念五仙五羊而建了这么一座五仙观。但颇让后人困惑的是，五仙五羊最初到底是降在何处、五仙观最初又建在何处呢？
五仙观建观的地址，历史上确实屡有变更。而且屡建屡废，屡废屡建，观址曾多次迁建。但不少人都认为坡山是五仙五羊的降临地。这种说法到底是否可靠？
当代广州学者黄汉纲认为此说法值得商榷。
他认为，不少介绍广州历史传说的著作都认为坡山是五仙五羊的降临地，其实不确。据北宋蒋之奇《五仙观诗》、南宋方信孺《南海百咏.五仙观》诗、清阮元《广东通志》、屈大均《广东新语》、仇池石《羊城古钞》、李福泰《番禺县志》等文献中有关五仙观的记载，结合北宋张劢《广州重修五仙祠记》碑，再与1973年在广州越华路与广仁路交界处发现宋代子城的墙基等实物互相疏证，可知五仙观曾四次迁移，三易其地（地点不明的一次未计在内）。经过大致如下：
（一）北宋哲宗元祐三年（1087）前，在十贤坊（今广仁路社仁坊）。此为有实物及文献可考的第一座五仙观遗址。
（二）北宋哲宗元祐三年后至政和二年（1112）前的某一年，自十贤坊他迁，地点不明。
（三）北宋徽宗政和四年（1114），迁回十贤坊。
（四）南宋宁宗嘉定年间（1208~1224）,迁至西湖玉液池畔，即今西湖路附近，称奉真观；南宋末年又迁至今广仁路。
（五）明洪武元年（1368），平章侯廖永忠寓观中，误引薪火，观遂焚毁，乃命高思齐重新建之。
（六）明太祖洪武十年（1377），布政使赵嗣坚以观地为广丰库，乃改迁于坡山遗址（今惠福西路）的禁钟楼后，塑五仙像祀之。
虽然学者们已阐明，坡山并不是五仙观最初的建观地点，但这似乎并不妨碍民间艺人在民间文学里绘声绘色地演绎五仙观建观坡山这段神奇传说。

五仙观