据《南岳志》记述，这座六朝时的古刹，在唐代曾改名为方广圣寿寺，宋初又赐名方广崇禅寺。寺院经过隋、唐、宋、元、明五次修建，屡修屡废，屡废屡兴。明初，浩空和尚将寺院改建为板屋，盖上铁瓦，增设佛堂。并在寺院内雕龙绘凤，把寺院装饰一新。公元一五九四年，明神宗赐给方广寺一部佛经及佛像、宝幡，并专门建造藏经阁予以安放，后来寺院倒塌。在明崇祯十六年（公元一六三四年），王夫之兄弟及夏汝弼等人受巡抚褚胤锡委托，再次筹款，重新修建。经过两年时间，方广寺焕然一新，雄伟壮观。清顺治五年（公元一六四八年）十月，王夫之在莲花峰下组织抗清义师，曾在方广寺内聚会。后来虽然失败，从此以后方广寺却声名远播。
不久，方广寺毁于大火，“门庑不设，僧葺茅舍以居”。直到清道光年间，由曾国藩的曾任陕甘总督的弟弟曾国荃重新修建，费资白银二万余两，才成为现在的规模。
方广寺正殿中原有宋徽宗写的“天下名山”四字金匾。寺前有一条小溪，寺左有石涧潭，泉水从石上流下，成为瀑布，注入深不见底的潭中，声若钟鸣。这里林泉山峦秀美，处境幽静深邃，游人到此必有一种“幽深”之感，故前人有“不至方广，不足以知其深”之说。
公元1167年，南宋著名理学家朱熹应湖南提刑张栻的邀请，到长沙岳麓书院讲学。就在这年冬天，他们踏雪来到南岳，朱熹此时不禁诗兴大发，七在之内，二人互相唱酬，作诗149首。其中三分之一的诗篇是在方广寺写的。后人为了纪念他们这次胜游，特意在方广寺旁修建了二贤祠，并将朱、张的神主供在祠中的嘉会堂上，让他们永享儒家的香火。
