除了许地特色建筑外，许氏家族更值得书写。200年来，高第街许氏名人辈出：有鸦片战争时期领导乡绅、民众抗英的许祥光，有署理过浙江巡抚的许应（釒+荣），有反百日维新的尚书许应骙，有孙中山重要军事助手、粤军总司令许崇智，有辛亥革命期间在南京发炮轰走张勋、张人骏的南京临时卫戍司令许崇灏，有鲁迅夫人许广平，有近代著名的教育家许崇清，有与邓小平并肩发动百色起义的许卓，有在解放战争秘密战线为党作出重要贡献的许锡缵。 这个家族在鸦片战争、太平天国运动、中法战争、戊戌维新、辛亥革命、讨袁护国、大革命、抗日战争、解放战争等各个时期都有地位相当重要的人物。他们的活动对近现代中国社会产生了不可小觑的影响。中山大学历史系邱捷教授评价说：像这样的家族，在广州目前恐怕找不出第二个。
许家名人辈出与家族重视教育有关。自始就着重教育的许家，到了1850年有了收获，许家第十宅的许应骙和第七宅的许应（釒+荣）双双参加会试，折桂而归。不过有“戊戌黑旋风”之称的许应骙以顽固的卫“道”者的身份出现，强硬得连皇帝也要皱眉头。清末“百日维新”，许应骙身为礼部尚书，扮演了反对派的角色，他理直气壮地认为自己在捍卫祖宗数千年之道。许应骙在此前40多年间步步高升，京中各部的首脑他几乎都担任过，还被调往总理各国事务衙门当大臣，清史评价许：秉性方刚、不懂妥协、不识周旋、不通外情、不明时势，更是墨守成规。此后，他因不能胜任外交事务，转任礼部尚书。在任上正逢光绪皇帝准许臣民直接上书言事，礼部主事王照请光绪帝游历考察日本等国，尚书怀塔布、许应骙不肯代送奏折。王照于是直接上堂递交，并且弹劾尚书，怒火中烧的许应骙上奏反击，激怒了光绪皇帝，这个被两江总督刘坤一称赞的“首发康有为之奸”的许应骙被撤了职。戊戌政变后，许应骙出任封疆大臣闽浙总督，并被特许“仍在紫禁城骑马”，以表示优宠。一年后又兼署福州将军，集军政大权于一身。后来许的手下官员渎职，许也因此被解任，退出政治舞台，许应骙回到广州后，便从高第街搬了出来，在广州白鹅潭畔建造了一所颇具规模的私家园林“后乐园”，现在的海珠区还有一条“后乐园街”。
在高第街许地，清道光年间族人修祠建宅，有家庙、戏台、书室、花园等，古色古香，幽静雅致。现在的古屋房舍大多已经被损毁另建，唯有宗祠一带仍然保留着昔日风貌。

高第街 许氏家族