在圣心大教堂诞生前，那里曾经矗立着岭南地区最高府衙——两广总督署。英国人和法国人显然知道“擒贼先擒王”的道理。在1857年第二次鸦片战争时，英法联军的军舰闯入珠江，炮击广州城，把炮口对准了清廷管辖岭南地区的最高机构——两广总督衙门，将位于城南距离珠江边不远的两广总督部夷为平地。
法国政府借口清政府早先曾经没收了教会在广州教区的教堂，胁迫清政府赔偿损失。法国人一不做二不休，提出在原两广总督署废墟上建造教堂的要求。再遭败仗的清廷犹如惊弓之鸟，害怕英法联军北犯威胁京都安全，被迫把封疆大臣的府邸地皮作为牺牲品，交给法国人处置，息事宁人。
6年以后的6月28日，在两广总督署旧址举行了教堂的奠基仪式，信仰天主教的教徒分别从圣地耶路撒冷和罗马拿回一公斤泥土作为圣物，并且在教堂东、西两侧角石上刻有“耶路撒冷1863”和“罗马1863”字样，表示天主教创立于圣地耶路撒冷，在罗马得到中兴。
于是在广州诞生了当时中国最大的哥特式教堂——圣心大教堂，由于教堂全部用石块砌成，广州人又称之为石室。教堂模仿闻名于世的巴黎圣母院，同为尖顶哥特式建筑，由法国工程师设计。教堂建筑工程浩大，当时建筑花费了40万法郞，在香港九龙采凿石块，然后用帆船运到广州。从打磨石块到吊装都是手工操作完成。
如今石室刚经历过大修，阳光透过绘有宗教人物的彩窗射进拱形大厅，将斑驳各异的采彩洒向地面，让人顿觉肃穆而又神秘。
石室建于1863年，历时25年方才完成，修建教堂的建筑工人年轻时来砌石，等修好教堂时，一些人已经两鬓苍苍胡子花白了。
在修建之初，工程直接由两个法国工程师指挥，两人后来因为言语不通相继离去。广东揭西建筑工人蔡孝来到工地看望熟人时，发现法国人修砌方法有问题，提醒法国人时对方并不以为然，但试验后的效果明显好于以往施工，于是蔡孝便被聘请为这一工程的总管。
闻名远东一带的石室正面为一对巍峨高耸的双尖石塔，直插云霄，石塔中间东侧是一座大钟楼，装有四具从法国运来的大铜钟。高耸的塔楼上有机械钟报时。据说当时由于机械钟造价不菲，等机械钟以及4座大铜钟装置到位以后，才在石塔四周砌门，使得大钟无法从狭窄的门洞运出。4个从法国运来的大铜钟，能够发出高低不同的洪亮钟声，当有修女过世时，铜钟会发出与宗教礼拜时不同的声音。
整座教堂用花岗石建成，南面山墙两侧建有一对尖顶石塔，高58.5米，塔顶为八角尖锥体，内部分为三层。在石室修建好几年后，法国人在上海筹款准备建造徐家汇教堂。随着广州海关一口通商结束，广州商业地位衰退，外国传教士也把目光转移到了距离中央王朝更近的上海。

圣心大教堂