南越国第五位，也是最后一位国主叫赵建德。赵建德年轻时是个不得宠的王子，所以住在王宫西面的园舍中，位置在今光孝寺的地方。赵建德的父王，即第三代南越王赵婴齐，把王位传给其汉族妻子生的王子赵兴。赵兴与王太后请求汉朝将南越列为内属诸侯，引起南越丞相、三朝元老越族人吕嘉等大臣的不满。吕嘉终于发动宫廷政变，杀掉王太后与赵兴，立赵婴齐与越族妻子生的赵建德为王。随后汉武帝派五路大军进攻南越，于元鼎六年（前111年）平定南越，吕嘉、赵建德均被擒获，南越王国灭亡。赵建德在王宫外的故园也从此荒废。
一晃到了三国时期，吴国的大臣虞翻得罪了吴大帝孙权被贬到广州，住进赵建德的故园中。
虞翻，在罗贯中写的小说《三国演义》中并不是突出人物，但其实是个既有武艺又有学问的奇人。他到了古越秀的地域后，对广州的文化发展有一定影响。
虞翻（164-233），字仲翔，会稽（今浙江）余姚人。自小练武习文，闻名乡里。创吴国基业的孙策很赏识虞翻，把他比作助汉高祖创立汉朝的萧何。他上阵用丈八蛇矛，骑高头大马，助孙策南征北战，又能出谋划策，屡立战功。孙策英年早逝，孙权接掌东吴大权时只有18岁。至公元222年，孙权正式建立吴国，是为吴大帝。虞翻作为开国功臣之一，又恃才傲物，有点看不起孙权。因此，孙权也不太喜欢他。
虞翻不避权贵，耿直也敢言，甚至不分场合地不给孙权情面，终于令孙权不能容忍。一次，孙权宴请群臣进行到高潮时，起身逐一向大臣劝酒。到了虞翻跟前时，虞翻借着酒意伏在地下不接酒。孙权好生没趣。岂料孙权到他隔邻劝酒时，他又立即起身。孙权怒而拔剑要杀他。幸得旁边的大臣抱着孙权，多方解释，孙权才作罢。但不久之后，他又得罪孙权。那次孙权正和大臣张昭谈论神仙故事，虞翻对着张昭大骂：“你不过是行尸走肉罢了，谈什么神仙故事，世上哪有什么神仙？！”这使得孙权面子下不来，气得立即下令，把虞翻流放到广州。
虞翻却庆幸从此离开官场，专心研究起学问来。他来到广州住入赵建德的故园，种下不少诃子树，人们称此园为“诃林”或“虞苑”。虞翻在诃林招收学生，开讲《易经》等学问，从学者多达数百人，为古广州培养和造就了一批人才。
《易经》成书于周朝，又称《周易》，乃儒家的典籍，后世市井中人以为只是占卜的书，其实内含不少的学问，其中保存古代学人长期积累的朴素辩证观点。虞翻创造性地把易学的八卦与天干、五行、方位相配合，推论象数，写成《易注》九卷。此书显示了虞翻的学问不同凡响，当时有学者感叹地说：虞仲翔恃才傲物，被许多人指责，但他好比美玉，越多摩擦越见光亮呀。
虞翻的《易注》原书早已不存，犹幸历代易学学者在易学著作中时有引用，故得以留下精髓。到清代，易学大家张惠言把虞翻的《易注》加以发挥，写成《周易虞氏学》《虞氏易礼》《周易虞氏消息》等书，虞氏易学遂成一个流派，人称“虞易”。
虞翻还写有《论语训诂》《周语训注》等书，传授给诃林弟子，所以他在古越秀地区的开坛课士，对广州文化发展是颇有贡献的。
虞翻在广州病逝后，其家属举家迁回浙江老家，把虞苑房舍捐出作佛寺（这是当时上流社会的时尚），这就是光孝寺的前身。有诗咏虞翻曰：
抽身宦海悟书香，论道诃林韵味长。
虞氏辛勤周易显，千年不灭亦铿锵。

虞翻