寺伝によると、大山寺は718年に金蓮上人が開基したと伝えられています。明治維新後の神仏分離、廃仏棄釈により、1875年（明治8年）に大山寺号の廃止を命じられ、大智明権現社は大神山神社奥宮に定められ、本坊の西楽院をはじめ大半の建物が廃寺となってしまいました。その後1903年（明治36年）に大山寺号の復活が許可され、に残っていた当時の住職たちによって大山寺が興されました。しかし1928年（昭和3年）大山寺の新本堂（かつての大日堂）が火災により焼失し、その後仮本殿であった下山観音堂も焼失してしまいました。本堂は1951年（昭和26年）に再建され、地蔵菩薩を祀っています。現在の大山における地蔵信仰の中心をなす堂宇です。