Pesanggrahan ini kemudian lebih terkenal dengan nama Gua Siluman karena banyak yang diganggu makhluk tak kasat mata saat melintas malam hari.
Kebanyakan adalah pedagang, yang hanya mendengarkan suara tertentu, tanpa tahu sosoknya di mana. Namun bila mereka mendengarkan suara aneh di situs ini, maka dagangan yang dijual akan laris manis.
"Karena banyak yang diganggu ini kemudian dijuluki Gua Siluman. Kalau saya selama di sini tidak pernah merasakan apapun," ujar Seno yang juga juru kunci Gua Siluman, menggantikan kakeknya.
Rusak
Masih dalam penuturan Seno, situs Gua Siluman rusak karena faktor alam seperti gempa bumi dan faktor manusia.
Bertahun-tahun lalu, orang-orang mengambil batu bata di situs ini untuk membangun rumahnya masing-masing. Saat ini, penduduk setempat juga kurang menjaga kelestarian situs ini.
Saluran air yang membelah situs justru digunakan untuk pembuangan limbah warga.
Seno sudah sudah berulang kali mengusulkan agar warga membuat gorong-gorong lewat saluran lain, tetapi tak diindahkan.
"Sebenarnya kan bisa mengajukan proposal ke dinas terkait, tapi tak ada respon. Saya sampai capek bersihin. Ini kemarin sempat terbengkalai karena saya ikut memperbaiki di situs lain," ungkap dia.
Menurut rencana, Gua Siluman akan juga akan dipugar seperti pesanggrahan Rejowinangun atau Warung Boto. Seno belum tahu, kapan waktu pasti pelaksanaannya.
"Di sini tu kurang publikasi. Tapi besok kalau sudah dipugar seperti Warung Boto pasti akan ramai. Sekarang ya pasti ada yang berkunjung di sini. Satu atau dua orang pasti ada," tambah dia.