坡山古渡头，一座赤砂砾的石山，由于它并不高大，所以得以被远古洪水期的珠江流水日复一日、年复一年地冲蚀，渐渐造成了许多洞穴。
到了明代，坡山五仙观被称为“穗石洞天”，名列明代羊城八景之一。
清代，又名“五仙霞洞”，为清羊城八景之一。其时，观内泉水清澈，花木繁茂，木牌楼、穗石亭、御风亭、仪门、五仙殿、玉皇殿、北帝殿、观音殿、关帝殿、洪圣殿、三官殿、斗佬殿、金华殿、众神殿等亭台殿宇，与穗石洞、白莲池、陀泉等组成一处秀丽的景色。
巍峨壮丽的宫殿群，浑然静穆，气象万千，吸引了历朝历代的文人学士流连吟咏。宋代郭祥正的《坡山》诗曰：
番禺五仙人，骑羊各五色。
手持六秬穗，翱翔绕城壁。
瞥然乘云烟，诸羊化为石。
至今空留祠，异像犹可识。
曾闻经猛火，毫发无痕迹。
五羊宁复来，三说颇难测。
只忧风雨至，一朝随霹雳。
君不见：
差庐刘越之洞天，
万象森罗无一尺。
他闻说五仙观曾遭火灾，又看见空祠在目，忧虑风雨霹雳再带来厄运的同时，还在悬想，五羊何时复来。
明代书生张诩赴京赶考后慕名到五仙观游玩小住，为坡山景物所倾倒，写下《坡山》一诗：
坡山高哉凌紫烟，下有穗石一洞天。
羊驾何年来五仙，羊化为石其中眠。
珠宫贝阙相钩连，仙风道骨像俨然。
晨诵太上道德篇，泠泠清韵如响泉。
红尘咫尺如隔川，阒寂不闻尘世喧。
我来乘风登其巅，下观沧海变桑田。
罗浮左盼小如泉，倒骑凤凰忘孤骞。
蓬壶方丈浅水边，黍珠放光照八埏。
和气磅礴降蜿蜒，祥风披拂球琳宣。
相邀暂出辅羲轩，文才武略美双全。
大者为圣小者贤，光辅吾皇亿万年。
明代诗人孙蕡，登临坡山，上得禁钟楼，见万顷风波尽在眼底，不禁感慨大发，作《坡山》诗曰：
几年来作交州客，今日方登第一楼。
万顷烟波涵碧落，四川云气蔼清秋。
瑶台鹤驾排空下，石室丹光傍井浮。
蓬岛依微天路近，凌风直欲访丹邱。
明代黎民表的《坡山诗》也写得很美。把酒临樽，吟赏烟霞之际，颇有意满志得的潇洒：
松门开羽景，花径听鸾笙。
紫气双龙直，青天一鹤横。
岭悬春树杳，潮入暮江平。
况惬烟霞赏，芳樽共一倾。
明代郭棐的《坡山诗》，在篁声花影里幻想着五羊仙人能否再度降临，“拉”他去蓬莱仙境做神仙：
共约龙山去，翻寻羊石来。
篁声送天籁，花影满云台。
持穗人何处，餐霞客重回。
寄言五仙子，拉我入蓬莱。
清代杭世骏《题马都统瑞图坡山八景图》里，也是花影禽鸣，秋月碧池：
坡翁仙去山仍在，妙景凭君画出难。
茂树日高犹弄影，碧池风起自生澜。
幽禽唤客花侵座，诗将吟秋月浸坛。
邻并久输怀圣塔，隔墙时得点头看。

五仙观