五仙观后殿后面坡山上顶耸立着一座钟楼，广州人人称“岭南第一楼”，为何第一？因为这是明代岭南建筑的第一座高楼。此楼年代相当久远。始建于明洪武七年，即1374年，也就是比镇海楼还早建六年，这在当时广州鳞次栉比、密密麻麻的低矮民居建筑中，可算是鹤立鸡群了。此楼是当时广东省参知政事汪广洋所建。此楼又名“禁钟楼”，为明万历年间重建，坐北朝南，宛如城楼，通高17米，分上下两层。下层楼基以戏砂碉砌筑成一高大方台，台宽14米，深12米，高7米，中间为拱券洞门，前后贯通，在没有高楼大厦的年代此楼亦算雄伟壮观的建筑了。上层为四面开放式木结构，呈长方形，面宽11.8米、进深9.7米，重檐歇山顶，盖绿琉璃瓦。两端为一对相向倒立的鳌鱼，刹为葫芦珠刹。桁梁刻有“乾隆五十三年重建”字样。
楼上中间悬挂着一口约一万斤重的大铜钟，钟高3米、径2米、重5吨，为广东现存最大的青铜巨钟。相传为明初著名将领、永嘉侯朱亮祖于明朝洪武十一年（1378年）所铸。由于大铜钟钟口之下正对楼基中心方形大井口，撞钟时，声音产生共鸣，从券形门洞传出，钟鸣远播，声闻10里。关于这口铜钟有不少奇异的传说。据传，当钟铸好之后，有官员撞击此钟，结果城中死了千余婴儿。以后曾一度被禁击钟。又传说乾隆丙午年（1786年）重修钟楼，当年附近很多居民染瘟疫而死，有风水先生说，这大钟楼位居申位，像人肝脏，撞钟时居民会受惊吓，于是官府下令无事禁止撞击，并把钟吊起来，只有遇着火警之类灾难时才撞击鸣钟，用于报警。故称之为“禁钟”。
相传朱亮祖原来铸了两口一雌一雄的大钟，只因铸好之日，只有一根“仙藤”，无法同时悬挂两口大钟，只有挂起雄钟，将雌钟闲置一旁，备受冷落，雌钟甚感羞辱，一怒之下，腾空而起，投入白鹅潭里去了。钟楼上只剩下一口雄钟，假如有人违禁敲击。其声音就与白鹅潭中的雌钟遥相呼应，三日不绝，整个广州城都听得见。

五仙观