赵佗城的城池，终究没能挡住汉武帝十万汉军的金戈铁马。汉军放火焚城，昔日王城毁于一旦。直到三国时代，一个叫步骘的吴国大将，把交州刺史治所迁到番禺城，这片土地才重新建起宫殿城池。
城门保卫老百姓
步骘在南越国旧都的残基上重新筑城，当时文溪东西支水道已较以前狭窄，珠江北岸也已向南推移，面积比赵佗城有所扩大，三个城门的位置，与赵佗城相去不远。又由于步骘城只是州治，并不是王城，在现在中山路南面，开始出现民宅商贸区，城门不再是高高在上，而是开始与百姓生活紧密相关，成为百姓免受外敌侵扰的一道屏障。
步骘城建成后，约800年间基本规模没有大的改变，城门位置也没有发生大改变。直到五代十国时期，随着番山、禺山的凿平，南城门开始南移。
广州古称“番禺”，它的来历，得名于这两座山。番山位于现在文德路第十三中学内高山一带，禺山则约位于如今广州百货大厦一带，约为越秀书院街以南的地方。番、禺两山并非孤立的山峰，而是丘陵起伏，彼此相连，成为州城的屏障。步骘开南城门时，就是穿二山山坳而出。但到了唐末，随着珠江北岸南移，南城门形成繁盛的商业码头区，这二山反成了城市南拓的屏障。
凿低二山建城楼
唐末，南汉国开国君主刘隐任青海军节度使，驻节广州，他率先凿低番、禺二山，并叠石建双阙，重建南门城楼，并在阙上建了谯楼（即城门上的望楼，俗称鼓楼），楼上挂一幅匾额，写着：“青海军节度使府”。南城门于是有了另一个名称：“青海楼”。
但当时两山仍较高，南汉时刘龚继位，再次凿低二山，城区突破了唐城的南界，扩展到约现在大南路、文明路一线，称为“新南城”。新南城的南城门叫做鱼藻门，约在今北京路与大南路、文明路相交处。
唐代城门青海楼的故址至今尚存。在北京路的“千年古楼遗址”，仍可清晰看到下面层层叠压得历代门楼遗迹，那时沉积了千年风霜的沧桑印记。
清代，这里曾建起岭南“四大崇楼”之一：拱北楼，但青海楼作为广州南大门的历史，却在历史的烟尘中，渐渐被淹没。

唐 南门 故址