当山の起源は貞和元年（１３４５）気賀の庄、石川氏が開基となり、楠正成公に仕えた後に仏門に入った龍氏（石峰和尚）が遠江国、入野村（現浜松市西区大平台付近）に東に佐鳴湖を望む地を見て、山号を東湖山、寺号を自分の姓一字を入れて龍谷寺としたことに始まる。

この地では３代で絶し、その後永正元年（１５０４）４月、雲谷和尚がこれを産海村（現浜松市西区雄踏宇布見）に移す。この地では６代で絶する。

寬文５年（１６６５）新居宿出身で山崎の安寧寺住職であった萬牛和尚は、大勢の檀信徒の山崎への往来の苦労を考え、東に湖を望む荒井の地（現新居高校東付近）へ嗣ぐの絶えている龍谷寺を再興して開山となった。

萬牛和尚は、さらに海を埋め立てて境内地を広げた。その辺りの土地は『龍谷寺堀』と言い、現在でも地名が残っている。

その後、寶永４年（１７０７）１０月４日大地震来襲。三度の津波に見舞われ新居宿は全没する。

翌年、当山２世 江国和尚が現在の地に再興する。当山は現住職で１５世。現在の堂宇は１４世 玄雄和尚が再建した。