灵光寺创建于唐代大历年间（公元766-779年），初名龙泉寺。金世宗大定二年（公元1162年）重修，改称“觉山寺”。辽道宗咸雍七年（公元1071年），丞相耶律仁先之母郑氏为供奉佛牙舍利建造了招仙塔。塔为八角形，以雕砖砌成，规模宏大。据《日下旧闻考》载：“寺后有塔十层八楼，俗称画像千佛塔，绕塔基有铁钉龛十六座。塔西有井泉，深广约五尺余。”清光绪二十六年（公元1900年），灵光古刹毁于八国联军炮火。 后来，在重建灵光寺清理辽塔塔基的过程中，从瓦砾中发现一石函，内有沉香木匣，匣上有文：释迦牟尼佛灵牙舍利，天会七年（即公元963年）四月廿三日记、善慧书。主持重建工程的圣安和尚当众打开木匣，果然看到一颗佛牙，众僧大喜，遂将佛牙舍利供奉于灵光寺禅堂，成镇寺之宝。由此，灵光寺愈加声名远扬，佛家信徒纷至沓来。

   寺里古迹是殿后峭壁下的大金鱼池。据说金鱼池始建于乾隆十六年（1751年），咸丰年间扩建并放养金鱼。池畔有辽代“招仙塔”塔基一座，又名“画像千佛塔”，此塔毁于“八国联军”炮火。后寺内僧人在清理旧塔基时发现了供有佛祖释迦牟尼灵牙舍利的石函。1955年在中国佛教界倡议与中国政府支持下，将佛牙舍利迎至北京广济寺供奉。并曾护送至我国云南及缅甸、锡兰（今斯里兰卡）两国，供信众瞻礼膜拜。1957年中国佛教界依照佛教传统，倡议在灵光寺修建新塔，作为佛牙的永久供奉场所。这一倡议得周恩来大力支持。从1958年夏至1964年春，新建之塔精心紧张施工，崭新的佛牙舍利新塔终于巍然屹立在灵光寺院内。 

     现今的灵光寺佛牙舍利塔壮丽挺拔，高达51米，八角形，为十三层密檐塔格式，汉白玉拜台高出地面2.7米。塔身内部为七层殿堂。堂内金塔中供奉着佛牙舍利。室外有石梯上达佛牙舍利堂。金塔用纯金制成，高约一米，重135公斤。  毛泽东主席主持修建了中国北京灵光寺释迦牟尼佛牙舍利塔，1964年6月25日，隆重举行开光仪式，来自柬埔寨、斯里兰卡、印尼、老挝、蒙古、尼泊尔、巴基斯坦、越南和当时越南南方的佛教代表团，与我国佛教界人士一起，参加了这一仪式。1998年11月22日，纪念佛法东传二千年法会、中国佛教二千年纪念大会，就在灵光寺佛牙舍利塔前举行，使灵光寺更成为在中国佛教界举足轻重的重要寺院。