镇海楼位于越秀山小蟠龙岗顶。1380（洪武十三年），永嘉侯朱亮祖主持广州城扩建工程，广州北面城墙扩展至观音山（越秀山）东北山麓，于制高点建五层楼，时称望海楼，后改称镇海楼，俗称五层楼。为广州城市标志性建筑。
望海楼建成以后，数次重修。明成化年间，楼遭火灾，重建后的五层楼更名镇海楼。清初，此楼为平南王尚可喜驻兵处，康熙年间平藩之后，镇海楼再次被毁，1687年（康熙二十六年）再次重建。辛亥革命后，龙济光盘踞广东，镇海楼一带成为驻守军队的禁区，兵争不停，镇海楼成了一片颓垣，“马槽军灶”。1928年，林云陔任广州市长，决定修复镇海楼。楼内原为木结构，重建时改为钢筋混凝土结构，惟砖石砌筑的墙壁基本属明代旧物。楼高五层，28米，东西山墙和后墙壁下两层用红砖岩条石砌筑，3层以上为青砖墙。首层阔31米，深16米，山墙厚3.9米，后墙厚3.4米。各层向上收分，面宽及墙厚尺寸递减。第五层面宽26.4米，深13.67米，山墙厚1.65米，后墙厚1.3米。绿琉璃瓦歇山顶。山墙逐层收进，各层设一窗，状如宝塔。各层正面设走廊，可供凭眺。在现存的中国传统建筑古楼中，镇海楼的形制特具一格。
镇海楼重修以后，1929年成立的广州市立博物馆，以镇海楼为院址。抗战胜利后，广州博物院更名广州市立博物馆。1964年，在镇海楼西侧新建碑廊和炮座，保存有关广州历史的23方碑刻。1985年在镇海楼东侧新建与镇海楼风格相协调的两层展览室。1989年，镇海楼被公布为广东省级文物保护单位。“镇海层楼”和“越秀层楼”先后列为清代和现代羊城八景之一。

镇海楼