El templo pertenece a la secta Myoshinji del templo Rinzai y se dice que fue fundado en el periodo Ashikaga.

En el recinto del templo se encuentran las tumbas de Jirocho Kiyomizu, el “rufián del Tokaido”, sus ayudantes Oomasa, Komasa y Sen’emon Masukawa, y su esposa Ocho, a la que amó toda su vida.

La “Tumba de Jirocho el Caballeroso” fue escrita por Takeyoshi Enomoto, que fue ministro de Correos y Telecomunicaciones en el gobierno Meiji.

Es el único caballero de Japón que cuenta con una estatua de bronce en reconocimiento a la labor de su vida. La primera estatua fue retirada durante la Guerra del Pacífico y la actual fue realizada por Tatsuo Tsutsumi en 1952.

El muro de piedra que hay detrás de la estatua representa el castillo de Sunpu y el estanque que hay delante representa la bahía de Suruga, lo que muestra el espíritu de Jirocho de echar raíces en su ciudad natal, Shimizu.

En el Museo Jirocho se puede ver una bola de cristal, un Bishamonten Michizane, un reloj, un telescopio, un rifle de pedernal y otras reliquias presentadas por Katsuzo de Kurokoma.

El templo fue fundado en el primer año del periodo Ashikaga (el primer año de la era Meiji) por el monje Tenryun Domyo de la clase de monjes Tohya.

El templo recibió por primera vez el nombre de Umekagean y se convirtió en la sede del sello rojo de la familia Takeda durante la era Eiroku. El nombre se cambió posteriormente por el de Templo Baikinji.

Durante la época de Keigo, el templo sufrió un incendio que destruyó las salas y los tesoros. El templo fue reconstruido posteriormente, pero el Gran Terremoto de Ansei destruyó todos los edificios.
En el año 36 de Meiji (1903), la actual sala principal fue reconstruida por el 14º monje, Mangyu. (De los materiales para visitantes generales)