越秀山早在南越国时便已辟为风景区，最早开拓的地方是越王台。据《大明一统志》称：“越秀山在府城内稍北，耸拔二十余丈上有越王台故址，昔赵佗因山为之。”每年三月三日，赵佗都要到这里登高娱乐，歌女在台上奏乐歌舞，故又名歌舞岗。韩愈诗中有“乐奏武王台”之句，指的就是这个地方。
越王台空间在哪里，据现存的史料分析，在今五层楼东，即美术馆附近。南宋方信孺《南海百咏》引刘恂《岭表异录》谓：唐时冈上犹有古台基，李玭在遗址上筑亭，作为纪念。郑愚又加心修饰，更加美丽，故在唐时已开始注意这一古迹，唐人常到此登高赏月，饮酒赋诗，曹松便有《南海旅次》诗一首曰：
忆归休上越王台，归思临高不易裁。
为客正当无雁处，故园谁道有书来。
城头早角催霜尽，海里残潮荡月回。
心似百花开未得，年年争发被春催。
五代十国时期，南汉主刘进一步加以开辟，从山脚到冈前，用石块铺了一条登山大道，名曰呼銮道。道两旁遍植金菊、芙蓉，刘与群臣在此赏花游宴，又名游台。
宋人著作《番禺杂志》和《南海百咏》，对越王台均有记载，言冈上黄花逛逦，为九月登高之所。方信孺还有诗咏曰：
万山衮衮尽东来，高处犹存百尺合，
回首旧时张乐地，一杯重与酹苍苔。
元军攻进广东时，南宋民族英雄文天祥被俘，当他被押解北上路经广州时，遥见高高的越王台，忍不住悲愤地赋诗一首曰：
登临我向乱离来，落落千年一越台。
春事暗随流水去，潮声空逐暮天回。
烟横古道人行少，月堕荒村鬼哭哀。
莫作楚囚愁绝香，旧家歌舞此衔杯。
由于不少忠臣义士，慷慨激昂的吟咏，越秀山更是名声大震。因此到了明代，又作了进一步的开辟，洪武七年（公元一三七四年），永嘉侯朱亮祖在这里建镇海楼，“凡五层，高十余丈”。永乐元年（公元一四0三年），都指挥花英又在山巅建观音阁，在半山建半山亭，把越秀山点缀得更加美丽，屈大均对当时的景致曾有过这样的描写：
是楼巍然五重，下视朝台，高临雁翅，实可以壮三城之观瞻，而奠五岭之堂奥者也。……自海上望之，恍如蛟蜃之气，白云含吐，若有若无，晴则为玉山之冠，雨则为昆仑之舵，横波涛而不流，出青冥以独立，其玮丽雄特，虽黄鹤岳阳莫能过之。
进入清朝，越秀山又建了许多寺院庙宇，如应元宫（顺治十七年建）、龙王庙（雍正三年建）、关帝庙（雍正三年建）。还在顺治十三年重修了三元宫（在越秀山南麓，是东晋南海太守鲍靓所建，为一道教建筑物）。一时香火十分旺盛。到了清朝中、后期，越秀山又成了名儒讲学之所，如学海堂，文澜阁，菊坡精舍等，都是在这个时期相继建立的。其中菊坡精舍就是由当时著名学者陈澧掌教的。

越秀山