『穴太寺観音縁起』によれば、慶雲2年（705年）、文武天皇の勅願により大伴古麻呂が開創したとされる。
　この多宝塔は文化元年(1804年)に建てられたものである。

（仏塔訪問日記）

宇治宮成が、仏師感世に制作を依頼した聖観音像が 完成後、礼物の馬を渡そうとしたが、自分がその馬を欲しくなり、 待ち伏せして感世に向かって矢を射た。 翌日、感世が生きているのを知り、 観音像の胸に自分の放った矢が突き刺さっているのを見て驚いた宇治宮成は、自分の行いを悔い、 仏門に入りその観音像を本尊として祀ったという。

この説話をもとに、身代わり観音の寺として広く信仰を集めてきたが、その聖観音像は昭和43年に盗難にあっていまだ見つかっていない という。

伽藍そのものも、応仁の乱と明智光秀丹波平定で、二度も兵火をあびるなど、時代の波に翻弄されてきた寺院である。