据说，五羊仙人奉天庭旨意为楚庭百姓送来五谷之后，见此间山川秀丽，气候温暖，便想在这里建座道观，以后往来天庭人间，也好有个落脚之地。于是就选中了这块风水宝地。
谁想，当年土地爷不想被占地盘，心想：如无建观木石，任你是何方神仙，也会束手无策，乖乖走人。于是就假意与五仙打赌，说：“要是你能说出这坡山到珠江有几丈几尺，就任由你们在此伐木取石建观，否则……”
忠厚的五仙不知有诈，略一打量便说：“这事容易-你这坡山，离江边不过十丈。”
谁知土地爷这时暗中作法，在山前平添了个渡口-这就使坡山在珠江以北十丈开外了。
五仙输了，没法在坡山取石，便飞到洞庭湖畔，找到了常年在那里牧放仙羊的龙女，向她借了仙家宝物-赭鞭。这神奇的赭鞭，一挥可化石为羊，再挥，又可化羊为石。于是，他们将洞庭湖畔的石山化为羊群，由胯下五只仙羊领头，从千里之外驱赶至坡山，化群羊为石料，一夜之间建起了道观。
道观建好了，五仙便欲驾羊飞升天庭，谁知五只仙羊留恋楚庭美景，竟欲与群羊相伴，永驻坡山。执鞭的仙人拗不过仙羊，只好挥鞭将仙羊化为五羊石，自己一跺脚，与众仙飞升去了。
所以，最初的五仙观，所用石材并非“凡石”，乃是龙女所牧之羊。又因这些羊本是司雨的雨工，所以终年温润，水汽莹然。而那个仙人的一跺脚，却不得了，硬生生在岩石上跺出了一个巨大的脚印，成为至今留存的“仙人拇迹”……

五仙观