第二次鸦片战争期间，1856年（咸丰六年）英国侵略军进入两广总督行署抢掠一空，把附近靖海门、五仙门的民房也烧光；翌年，英法联军炮火将总督行署烧为废墟。战后，英法两国政府根据中英、中法《北京条约》第四条“交还教产于天主教堂”，“传教士在各省租买田地建造自便”，借口清政府在禁教期间没收过天主教在广州的教堂，威胁清廷赔偿，同时提出要占用广州城内最高一级军政机关的地方重建教堂。清廷只好在司后街（今越华路西端北面）另建总督署，法国遂在1861年（咸丰十一年）底强行租用了被英法联军炮火夷为平地的两广总督署原址空地，租给法国普行善会作为建立教堂、学校、医院和育婴堂之用。租约订了两次，租地约4万平方米。因时人习称两广总督行署为两广部堂，此地即被称为“旧部前”。
教堂由法国工程师仿照欧洲哥特式风格设计，于1863年（同治二年）6月28日圣心瞻礼日正式举行奠基典礼。奠基时从耶路撒冷圣母墓地河岸运来石块，又从罗马取泥土一公斤，置于基下，并在教堂前东西两侧墙角刻上Jerusalem 1863和Rome 1863的拉丁文。石块从香港九龙采凿，用帆船运至广州。搬运、打磨、垒砌，全靠人力手工，工程相当艰巨。最初负责施工的是两位法国工程师，因语言不通等缘故，工程进展甚缓，动工数年，仅垒起几尺高的墙基。后由广东五华人蔡孝为石室工地“总管工”。蔡孝在施工中创造了一些独特有效的土法，如以桐油糯米粘结石块，以铅件栓合柱和券拱等关键部位，穹隆顶部部分石块凿孔贯穿以铁凖，使砌石更为牢固。工程历时25年，至1888年（光绪十四年）竣工落成，耗资40万金法郎。
石室工程落成，有教堂、医院、中小学校、神学院等房舍，现只存教堂和东西的颐铎堂。教堂平面呈十字形，坐北向南，东西宽32.85米、南北深77.17米，占地面积2754平方米；南立面为正面，高52.86米。这是当时广州最高的建筑物。分为三层，底层为三个尖拱形门；二层当中是镂空石刻圆形玫瑰窗，玫瑰窗由透光的红、黄、蓝、白、紫、绿等彩色玻璃镶嵌而成；三层分立两侧为一对钟楼，其上各有八角形尖塔顶。东塔装有法式铜钟，西塔为机械时钟。教堂内部为大礼堂，以两排纵向束柱把空间分为东厅和侧廊，采用尖形肋骨十字拱顶。东西北侧的外墙建有飞扶壁和飞拱，凌空斜撑。建筑风格以哥特式为主，屋顶的出水口则做成中国传统风格的石狮状。
石室屋面原为木屋架上铺瓦，1928年改为钢筋混凝土屋面板，板面铺瓦。彩色玻璃经1938年日军飞机轰炸广州、1949年国民党败军炸毁海珠桥震及以及1966年“文化大革命”中被红卫兵投石砸窗，所剩无几；堂内的祭台、祭具、祭像、神功亭及椅子在“文化大革命”中被焚毁。1979年起相继进行修缮。1988年重新恢复为天主教礼拜场所。
石室是中国最大的石结构天主教堂。1996年被定为全国重点文物保护单位。现为广东省、广州市天主教爱国会的所在地。

石室