从前，光孝寺有一个后花园，花园旁边住着一个赵举人。他的祖父是前朝的宰相，他呢，是个享祖先福的二世祖，虽名为举人，却无真才实学。人家说他这举人，也是靠他父亲用金银珠宝换来的。赵举人胸无点墨，平日却喜欢吟诗作画，摆弄珍宝古玩。可他写的诗没有人爱读，玩宝不识宝，得宝也不知宝，是个不成器的人。但举人的家宅十分宽敞阔绰，还建了一座四门归厅的书房，收拾得甚是幽雅。书房前面还有一个洗砚池。赵举人闲来无事，就在书房里摆弄珍宝古玩。
有一天，家童在洗砚池里洗笔砚，不慎失手把端砚掉进池中去了。家童忙跳入池里去寻找，可是找来找去仍不见端砚，却捞起来一块青绿色的大石板。这石板长三尺，宽两尺，厚五寸。举人看看这石板青青绿绿，晶莹光滑，倒也美观可爱，便没责骂家童，只吩咐家童将它拿进书房，做一个木架子架起来，上面好放古玩。
这时，赵举人的家境已远不如前。为了维持门面，他不时出卖家藏古玩。到后来值钱的珍宝都卖走了，只留下一些不起眼的东西。一天，来了一个外国珠宝商人，说要购买他的家宝。举人听后，便命家人取出许多家藏珍宝古玩来，让珠宝商人选购。珠宝商人看过后，只是一个劲地摇头不说话。举人只好亲自带他到书房里去挑看宝物。
一走进书房，就见到皇帝赏赐给举人祖父的一只玉杯，放在打捞起来的那块青石板上。珠宝商人见了，脸上立即露出十分惊喜的神情。赵举人以为他看中这只玉杯，连忙说：“这玉杯是前朝皇帝恩赐，祖先有遗言，不能出让。”那珠宝商却笑着说：“这杯子我不稀罕，这块青石板我倒愿意出高价收购。”举人听了，甚觉奇怪，心想这块石头原来还是宝呢，便不肯贸然答应。
珠宝商人看见赵举人这摸样，知道自己心太急，失了口，这个玩宝的原来不识这是块价值连城的无价宝，自己取宝心切，愿出高价，反倒吓坏了他。于是连忙改口说：“讲实在话，这是块方璞，内有妙玉。你若不肯整块出让，可将它凿成三块，你留两块，我买去一块，当奉送酬金三千谢你。”
举人是个有宝不识宝的二世祖，被客商一说，反倒觉得这商人很诚实。心里又想：这石板是家童从洗砚池里捞起来的，自己没花一点力气，也没花一文半文，得来全不费工夫，卖就卖吧。便满口答应，并立下契约：将宝石剖开三份，商人取中间一块，举人拿外面两块。
第二天，珠宝商人带一个玉工来了。玉工将青石板剖了开来，成了三块。一看那中间的一块，竟是一幅壮丽河山的天然美景，后来被称为《山河浴日图》：那图上群山秀丽，层层叠叠，树木青翠，郁郁葱葱；下方是碧波荡漾，淼淼无边的大海；东方一轮红日初升，空中是一片耀眼的霞光。赵举人看到宝石上的壮丽河山图景，吓呆了。这确是无价之宝呀！但后悔已来不及了，因为他和珠宝商人有约在先，这时只好一声不响地让珠宝商人把宝石拿走了。
珠宝商人把宝石拿到手后，就急急忙忙雇人直奔坡山渡口，准备乘船悄悄把宝石运到海外。那时候珠江江面很宽，珠江还没有取名字。坡山渡口就在现今的五仙观附近。说来也怪，开船前，海面上平静如镜；但当装着宝石的船刚驶到珠江出海口时，突然狂风大作，掀起滔天大浪，把那艘船拖回到坡山口岸。而当船回到口岸，那风浪却立刻又平静了。珠宝商人不甘心，再次开船出海。不料船开至出海口，又是一阵狂风吹来，掀起的巨浪又把船拖回到坡山渡口。船回岸后，风浪又平静了。珠宝商人行船走水多年，从没碰到过这等怪事，此时心中也有几分惊骇。但他财迷心窍，总想把宝石尽快运走，便不顾一切，再次把船开往出海口。这次船到出海口，风浪就更大了。只见波涛翻江倒海滚滚而来，霎时间把珠宝商人的商船打得粉碎，沉到海底去了。
到了第二天清早，就在船只沉没的地方，浮起一块闪烁着珠光的巨大海石，据说就是那块宝石，人们便叫它做海珠石。这条江因此就叫珠江了。后来年长日久，沙积北岸，江面南移，海珠石渐渐掩藏到地下，位置大概在今天的海珠广场下面。
那么，剖开剩下的另外两块宝石去哪儿了？据说，原先就收藏在光孝寺内。经历许多朝代以后，朱元璋闹起义打天下，来到广州，发现了两块宝石，十分喜爱，就把它们运到北京去了。传说明朝的皇宫，便是在铺有这两块宝石的平地上盖起来的。

海珠石