在镇海楼侧，中山纪念碑后边，有一段逶迤伸展、隐没在丛林深处的古城墙，它是广州保存的唯一一段明代城墙，也是广州现存的最古老城墙，迄今已有600年的历史。
越秀山古城墙是广州北门的制高点，历来为兵家必争之地。据记载，第二次鸦片战争期间，英法侵略军进攻广州城，用大炮轰城墙，又在洋枪掩护下向广州北城发起进攻，守北城的中国官兵利用古城墙作掩护，奋起反击。1923年，孙中山在广州任大元帅。同年4月，桂军将领沈鸿英等在花县发动叛乱，进犯广州，前锋窜至越秀山北。孙中山临危不惧，亲自坐镇五层楼，指挥军队在古城墙布防抗敌，打败了军阀的进攻。
从山腰抬头仰望，还依稀可见巍峨高耸的城头上那锯齿状城堞和一块块红砂岩石镶嵌的斑驳古城墙面。古城墙上芳草萋萋，苍凉凝重，给游人一种“念天地之悠悠”的怀古凭吊的情怀。

古城墙