伝承では崇峻天皇2年（589年）に、聖徳太子が当時播磨の地にいた高麗僧・恵便のために建立、その後養老2年（718年） 武蔵の大目「身人部春則」が七堂伽藍を整備したという。
　天永3年(1112年)に鳥羽天皇から勅額所に定められ、以来「鶴林寺」と寺号を改めた。
　この三重塔は室町時代の創建だが、江戸時代に大修理が 行われている。近年放火で一部損傷したが１９８０年（昭和５５年）の解体復元修理でよみがえった。

（仏塔訪問日記）

一歩境内に入ると、三重塔以外にも、太子堂（国宝）や、本堂（国宝）など、貴重な建造物のオンパレードといった印象だった。
　一通り建築物の写真を撮った後、出て行こうとすると、受付のおばさんが、「もう帰るんですか？宝物館も是非観て行って下さい」。 と呼び止めてきた。

「雨降る平日の昼間に、男が一人で寺に来てたら、いやでも目につくんだな〜・・・」。などと思いつつ、宝物館へ。 そこでは数多くの重要文化財の彫刻、工芸品等が所狭しと並べられていた。
　その中でも、『金銅聖観音像』は、白鳳時代の傑作である。
　この『金銅聖観音像』は、通称『あいたた観音様』とよばれる。その昔、盗人がこの観音像を盗みだし、溶かして一儲けを たくらんだが、なかなか溶けない。業を煮やした盗人は、像を槌で叩いたところ、 「アイタタ・・・」という観音様のお声が・・・。それに驚いた盗人は、像を返して改心した。観音様の腰の曲がりはその時にできたものである ・・・という伝説にちなんでいる。
　こういう伝説があるからかどうなのか、鶴林寺では過去に何度も、貴重な寺宝が盗難や放火の被害にあっている。
　そういう救いようのない悪党たちは、もはや、改心させる価値もないと、アイタタ観音様も嘆いておられるかもしれない。