称徳天皇の勅願により、常騰を開基として天平神護元年（765）に創建されました。当時は広大な寺域に多数の堂塔が建ち並び、東大寺と共に栄えていましたが、承和13年（846）以後数多の火災にあい、創建当時の建物はほとんど焼失しました。鎌倉時代に叡尊により復興されましたが、戦国時代には再び火災で焼失しました。現在残っている本堂（重文）、愛染堂（重文）、四王堂（重文）などは江戸時代中期に建てられたものです。叡尊が始めた「大茶盛」の寺としても有名です。

江戸時代に、危険防止と樹木保護のために始められた伝統行事です。1回に3～4頭の雄鹿を入れ、十数人余りの勢子(せこ)たちが取り押さえながら、のこぎりで角を伐り落とします。

神苑内の、池の中の島に張り出した舞台で、雅楽が公演されます。