明初洪武六年（公元1373年），朝廷将六榕寺东半部改建为“提督府”。
清初顺治七年（公元1650年）一月，被清廷封为“平南王”的尚可喜率清军围攻广州城，广州军民拼死抵抗，坚守孤城十个月，最后弹尽粮绝，于同年十一月被尚可喜攻陷。尚可喜下令屠城，广州军民被杀戮十多万人。
尚可喜攻入广州后，占据庭院森深的明提督府作为自己的府第，并大兴土木地扩建楼房，这就是赫赫有名的“平南王府”，是当时广东最高权力之地。今天的广东迎宾馆、广德路、将军东、西路，是当时广东最高权力之地。今天的广东迎宾馆、广德路、将军东、西路，就是昔日平南王府的遗址。
尚可喜父子于康熙十二年（公元1673年）参与吴三桂的叛乱，这就是波及全国的“三番之乱”。康熙皇帝于康熙二十年（公元1681年）平定了叛乱削去了平南王的封号，改为将军制，平南王府改为将军署，这是清廷驻广东的最高军事领导机关。在平南王府的南侧，新建一座“将军楼”。今将军东路2号至16号，向西直至将军西路，包括广德路，就是当年威严的将军楼遗址。将军楼与今广东迎宾馆是连成一片的。将军署的正门向南，今中山六路16号小红棉饭店就是它的正门，今广东迎宾馆是它的后院。

平南王府 将军署