越秀山旧称观音山，对这一名称的来源，众说纷纭，还有许多传说故事。
相传明朝永乐年间，广东伦文叙三斗柳先开，终于夺得了状元。柳先开是个心胸狭隘之人，他心里不服，为打击伦文叙的锐气，生出一计，重金聘请了当时有名的风水先生赖布衣，要他替自己出气。赖布衣收受了钱财，自然要替他出力了。赖布衣手捧罗盘八卦到处勘测，在越秀山头张望一番之后，回来对柳先开说：“越秀山是龙头，面临珠江，好似蛟龙吸水，很旺才气。”柳先开心想：怪不得广东出了个状元。他忙问：“有没有办法压住这龙气呢？”赖布衣说：“你亲自到江西龙虎山找到张天师，请一位哪魅星来，在正龙头处建一座庙供奉它，龙气就会被压服。
柳先开闻后大喜，于是带着大批财物及随从亲自前往龙虎山去拜见张天师，向他说明来意。张天师便把哪魅星座像交给柳先开。这个哪魅星青面獠牙，凶神恶煞，终天血盆大口，样貌十分吓人。张天师说：“只有这个哪魅星才能镇住龙脉，它望到哪里，哪里就有灾瘟，手指到哪里，哪里就五谷不生，六畜不旺！”这正合柳先开之意。
柳先开拜辞张天师后，与随从一道把哪魅星座像护送到广州越秀山上，在赖布衣所指定的地方，建了一座庙，把哪魅星供奉起来。这庙起什么名才会有人来供奉呢？柳先开思量了一番。他见广东人多拜观音，便也挂起“观音庙”的牌匾，还在台围上写了一首诗：
观音坐龙头，青莲水上浮，富贵代代有，广东永无忧。
他骗人说：“这可是大慈大悲的观世音菩萨。佛经有说：观音大士有七种化身现相。这就是其中的一种。”很多百姓信以为真，便来拜奉它，希望能消灾解难。人们不知道，柳先开还写了一首意思完全相反的诗，放在哪魅星座像下压着：
哪魅坐龙头，乌龟水上浮，宝贵无三代，清官不回头。
因为有了这座“观音庙”，人们便习惯地把越秀山叫做观音山。
当时广州城住着一位官至吏部尚书的大员，名叫湛甘泉。湛甘泉的母亲很信神灵，她听说越秀山上新建了一间观音庙，就与随从一起前去进香。但在上山的路上，人山人海，你推我挤，老太太一不小心，跌倒在地，扭伤了脚。随从赶紧派人赶回府中，将此事禀报湛甘泉。湛甘泉是个孝子，马上带着医官，提着药箱赶到观音山。医官用药酒给老太太按摩后，就用轿护送她回府了。湛甘泉安慰母亲一番后，心想：观音菩萨应救苦救难才是，为何母亲来进香反而要受苦难呢？待我前去看看是怎么回事。
湛甘泉进到庙里，一看，这里供奉的原来是面目狰狞的哪魅星！他顿时火冒三丈，大喝一声：“妖孳，胆敢到此处害人。”啪的一声，他用折扇把哪魅星的手指打断了。望见哪魅星还瞪眉凸眼，他又喝道：“见到本官还不低头，还望什么！”接着又把哪魅星的头打低了！第二天，湛甘泉就命士兵把这座庙拆了。
也有传说，哪魅星的害人行为，激怒了山下的白莲仙女，白莲仙女将一支玉簪掷入庙中，“观音庙”便化作一摊烂瓦渣，哪魅星也灰飞烟灭了。
“观音庙”毁了，人们就又叫回这座山原来的名称-越秀山了。
另有传说称：广州人登镇海楼远眺，目睹有像如观音，人们便称之为观音山了。较为确切的说法是：明永乐元年（1403年），都指挥花英在山顶建造了观音阁，故而得名，总之，广州人笃信观音，越秀山因此而得名，正如广州方言诗所云：
广州有座观音山，可以排除人万难。
如果心里有烦闷，要到山上行一行。
衣食住行咿哋事，想佢顺当拜吓山。
摘得山上朗几草，家宅平安心得闲。

观音山 越秀山