从“古之楚庭”牌坊沿登山石级逶迤而下，便见佛山石牌坊，这是明代观音阁的遗迹，越秀山另一个名称就是“观音山”，便得自于这座观音阁。
明永乐三年（1405年），都指挥花英在越井冈建造了观音阁，后改为名德祠，“以祀历代名德高固、杨孚、董正、罗威、唐颂、疏源、陈修、王范、黄恭凡九人。后圮，仍改为观音阁”（《岭南丛述》引黄佐《广东通志》）。后来，历经沧桑，观音阁湮没已久，仅留这座佛山石牌坊，以示后人。
牌坊建于清道光六年（1826年），用花岗岩建造，为四柱三间一楼。高约3.5米、宽3.36米，南北两面的坊额上均刻有楷书“佛山”二字，题款是“道光六年孟春三月番邑黄炳敬立”。牌坊上还有小巧的石雕庑殿顶。鳌鱼宝珠镶于脊顶。次间宽1.58米，坊额上刻有二龙戏珠浮雕。8块饰翔凤卷草纹的抱鼓石夹护着柱脚，柱刻“光绪三年丁丑秋无名氏信士重建”字样。整座牌坊庄重古朴。
关于观音山，有许多传说故事。
有一个传说是关于广东才子伦文叙的。相传明朝弘治年间，广东南海人伦文叙三斗柳先开，终于夺得了状元。柳先开是个心胸狭隘之人，他心里不服，一心想报复打击伦文叙，于是重金聘请了当时有名的风水先生赖布衣，要他在风水布阵做些手脚替自己出气。赖布衣收受了钱财，便手捧罗盘八卦在广州到处勘测，在越秀山头张望一番之后，回来对柳先开说：“越秀山是龙头，面临珠江，好似蛟龙吸水，很旺才气。”柳先开恍然大悟：“怪不得伦文叙能够拿到状元，原来是越秀山风水旺地。”于是连忙请教赖布衣有什么办法可以压得住这股龙气。赖布衣说：“你亲自到江西龙虎山找张天师，请一位哪魅星来，在正龙头处建一座庙供奉它，龙气就会被压服。”
柳先开连忙带着大批财物及随从亲自前往龙虎山去拜见张天师，向他说明来意。张天师便把哪魅星座像交给柳先开。柳先开一看吓了一跳，这个哪魅星青面獠牙，凶神恶煞，张开血盆大口，样貌十分吓人。张天师说：“只有这个哪魅星才能镇得住龙脉，它望到哪里，哪里就有灾瘟，手指到哪里，哪里就五谷不生，六畜不旺！”这正合柳先开之意。
柳先开拜辞张天师后，把哪魅星座像护送到广州越秀山上，在赖布衣所指定的地方建了一座庙，把哪魅星供奉起来。这庙起什么名才会有人来供奉呢？柳先开思量了一番。他见广东人多拜观音，便也挂起“观音庙”的牌匾，还在台围上写了一首诗：
观音坐龙头，青莲水上浮，富贵代代有，广东永无忧。
但哪魅星形象太吓人，柳先开便用一块黄布盖住头像。他骗人说：“这可是大慈大悲的观世音菩萨。佛经有说：观音大士有七种化身现相。这就是其中的一种。”很多百姓信以为真，便来拜奉它，希望能消灾解难。人们不知道，柳先开还写了一首意思完全相反的诗，放在哪魅星座像下压着：
哪魅坐龙头，乌龟水上浮，富贵无三代，清官不回头。
当时广州城住着一位官至吏部尚书的大员，名为湛甘泉。湛甘泉的母亲很信神灵，她听说越秀山上新建了一间观音庙，就与随从一起前去进香。但在上山的路上，人山人海，你推我挤，老太太一不小心，跌倒在地，扭伤了脚。随从赶紧派人赶回府中，将此事禀告湛甘泉。湛甘泉是个孝子，马上带着医官，提着药箱赶到观音山。医官用药酒给老太太按摩后，就用轿护送她回府了。湛甘泉安慰母亲一番后，心想：观音菩萨应救苦救难才是，为何母亲来进香反而要受苦难呢？待我前去看看是怎么回事。
湛甘泉进到庙里，把哪魅星的黄布掀开一看，这里供奉的原来是面目狰狞的哪魅星！他顿时火冒三丈，大喝一声：“妖孽 ，胆敢到此处害人。”啪的一声，他用折扇把哪魅星的手指打断了。望见哪魅星还瞪眉凸眼，他又喝道：“见到本官还不低头，还望什么！”接着又把哪魅星的头打低了！第二天，湛甘泉就命士兵把这座庙拆了。
这个传说是抹黑观音庙的。当然，更多民间传说是宣扬观音显灵的。否则，越秀山怎会叫观音山？观音庙毁了，但“观音山”的叫法却在民间流行一时。即便到了1927年广州起义时，起义部队也把山上设防点标注为“观音山”。
总之，广州人笃信观音，越秀山因观音阁而得另一个名字却是事实。正如广州方言诗所云：
广州有座观音山，可以排除人万难。
如果心里有烦闷，要到山上行一行。
衣食住行咿吨事，想得顺当拜吓山。
摘得山上朗几草，家宅平安心得闲。

佛山 石牌坊 观音山