越秀山虽然不高，但过去登上山顶便可俯瞰全城，也成为军事上的制高点，所以，越秀山历来是兵家必争之地。早在明末清初，这里便筑有保级、拱级、耆定、永康（四方炮台）及东得胜、西得胜等炮台，这些炮台见证着古战场的硝烟，也见证过广州受到帝国主义侵略的痛苦和广州人民抗击帝国主义侵略的壮举。可惜在城市建设中大部分已被拆除，今仅残存四方炮台、越秀东台台基。
四方炮台在蟠龙冈上，是鸦片战争重要遗迹之一。据清顾炳章的《虎门内河炮台图说》载：“永康炮台即土名四方炮台，番禺县属，坐北向南，南面距城一里……丈得外台周围四十九丈九尺，高一丈七尺；台中子台周围十六丈八尺，高二丈一尺……该台建自顺治十年，嗣于道光二十一年修复。”炮台规模较大，共配炮22门，其中外台配炮13门，台中的子台配炮9门。此外还建有“官厅二间，兵房十六间。药局一间。”四方炮台坐落在越秀山上，是广州城防的重要据点。
鸦片战争爆发后，清道光二十一年（1814年）公历5月25日，英军在炮火的掩护下，由西村增埗强行登陆，当天攻占城北各炮台，并以四方炮台为司令部。5月27日迫使清将奕山签订了《广州和约》。
5月29日，盘踞在四方炮台的英兵14人窜到广州城北三元里村抢劫奸淫，激起村民抗击，村民打死英军数名，拉开了近代中国人民第一次大规模的反侵略斗争--三元里抗英斗争的序幕。为防英军报复，城北103乡民众共1万余人，同仇敌忾，挥戈御敌，于5月30日引出据守在四方炮台的英军千余人至牛栏岗予以围歼。战斗中适逢天雨，三元里人民凭着机智勇敢，以落后的武器战胜了用新式武器装备的英军。英军司令卧乌古率军冒雨逃命，英军官兵被歼多名。5月31日，番禺、南海、花县、增城等地的400余乡群众共10万余人将四方炮台重重包围。被困的英军不敢鸣放一枪，只好向清政府求援，广州知府余保纯带南海、番禺知县赶至四方炮台，采取软硬兼施手段为英军解围。英军第二天开始撤离广州，6月7日全部撤出珠江口外。四方炮台收复后，即进行修复。但第二次鸦片战争期间，炮台又遭破坏。
1959年，园林部门在炮台基下挖掘出鸦片战争时用过的城防炮1门，此炮于1838年在国外铸造，重约2700公斤，长2.95米，炮身后端直径0.50米，前端直径0.33米，炮口直径0.13米，炮身上方距后端8厘米处，有一个安放药引的小孔，用以引火发炮，属前膛炮。炮孔及炮耳均已毁坏。此炮现陈列在广州起义烈士陵园内的广东革命历史博物馆大门左侧。
如今，蟠龙冈上郁郁葱葱，当年的军事要塞四方炮台只能从竖立的一块石碑中觅到其位置。
越秀炮台也是越秀山另一处军事重地。在越秀山越井冈东西麓曾各建炮台一座，东麓（今越井冈顶中山纪念碑东侧）称越秀东台，西麓（今三元宫后山顶）称越秀西台，统称越秀炮台（今越秀西台已圮，越秀东台尚存台基及部分弹药仓），东台东侧的山谷（今越秀山体育场）便是清代八旗火药局。
1914年，广州当局为巩固城防，向德国克虏伯兵工厂贷款购买了两门大炮（口径12.5厘米，为线膛后装开花炮，造于1887年）。当年5月，广州润记公司为两门大炮各建造一炮台，即越秀东台、西台。两炮台居高临下，俯瞰全城，又隐蔽在越井冈东西两侧，所处位置极其险要，大炮置于炮台的固定环形铁轨上，可按作各种角度旋转，两门大炮又形成互相配合之势，组成以越井冈为中心的火力交织网，覆盖广州城区，有相当大的威慑力。
1916年，军阀龙济光被驱逐出广州，撤退前将越秀炮台大炮的炮栓取走，大炮从此失去作用。这两门大炮虽然失去威力，但它已成为研究火炮历史的重要实物。现越秀炮台的两门大炮已被移至镇海楼前西侧的空地上陈列。
镇海楼前还摆放着几门当年的火炮，一门炮身长389.5厘米、口外径34.8厘米、口内径22厘米、重7938公斤的德国克虏伯兵工厂1867年制造的线膛后装开花炮，从清光绪十年（1884年）中法战争爆发、广州戒严之日起，它就镇守在黄埔蟹山炮台,1954年才移至此。镇海楼前西南侧还陈列着10余门明清时期原安放在越秀山城墙上的城防炮。其中一门是明崇祯十七年（1644年）广东铸造的城防大炮，重1000公斤，炮身长260厘米，炮身前外径28厘米，后外径36厘米。另外9门是清代铸造的滑膛前装铁炮，其中4门是清道光二十一年（1841年）第一次鸦片战争期间，由佛山炮匠李陈霍所铸。由于清政府的“议和”投降政策，这4门铁炮在战争中未能发挥作用，便被侵占广州的英军封了点火口，敲断了炮耳，不能再用，但它们成了研究广州铸炮技术史的重要实物。

清代 炮台 沧桑 战场