中山纪念堂堂址，选在被陈炯明部炸毁的前中华民国政府非常大总统的总统府上，即现在的中山纪念堂东门内侧。跟纪念碑不在同一条中轴线上，与原“前堂后碑”的设计理念有差距。吕彦直曾就此向筹委会建议，将堂址向西移动一个堂体位约70米，以使其与越秀山顶的纪念碑，靠近在同一中轴线上，同时拓展大片绿地园林，以壮其气势。
1928年4月，筹委会采纳了吕彦直的建议，确定堂址向西移动二十余丈：“按四月变更之新图，将中线移至偏西二十余丈”，使堂、碑靠近在同一中轴线上，兼得大片绿地园林。
然而，堂址向西移动二十余丈，就意味着要扩大征地面积，增加收用民房数量。由此而引出了第二期、第三期收用民房的问题。计划被清拆房屋的街坊民众指责吕彦直“该工程师只知工作愈大获利愈丰”。扩大纪念堂占地面积，额外增加清拆民房数量。
事实证明，吕彦直关于堂址向西移动二十余丈的建议是十分正确的。试想，若把偌大的一座纪念堂移到现今纪念堂东附楼正前方的那块空地上，堂体四周又没有大片的绿地园林，纪念堂的总体面貌将显得何等的局促、小气。大体量的建筑物，必须配以大面积的绿地园林——这就是吕彦直建议将堂址向西移动二十余丈的最重要的原因。就一家一户的居民百姓而言，当然是不愿意接受这个建议，清拆家园的。

中山纪念堂 堂址