Pada masa pemerintahan Sultan Agung di Kerto inilah Agung membuat penyerangan bersejarah kepada VOC di Batavia pada 1628 dan 1629.

Sebagai tempat latihan para prajurit dalam serangan laut bahkan dibangunlah sebuah laut buatan di tempat yang kini menjadi Desa Segoroyoso, Pleret.

Pada masa pemerintahan Sultan Agung ini Mataram Islam mengalami masa kejayaannya. Selain melakukan penyerangan ke Batavia, Sultan Agung juga berekspansi untuk mencari pengaruh di Jawa. mencakup hampir seluruh Pulau Jawa dan Madura.

Sepeninggal Sultan Agung, tampu kepemimpinan dilanjutkan oleh putranya yakni Amangkurat I. Dia memindahkan lokasi keraton ke Plered (1647), tidak jauh dari Karto. Lokasi museum ini diperkirakan masuk ke dalam wilayah Njeron Beteng keraton yang dibangun Amangkurat I.

Hal tersebut dipertegas dengan keberadaan sumur Gumuling di depan bangunan utama museum. Air dari sumur tersebut dipercaya digunakan untuk mensucikan pusaka.

Selain keberadaan puluhan umpak dan sumur gumuling, terdapat beberap benda-benda lainnya sisa peninggalan Mataram Islam, seperti koin uang Tiongkok, pecahan meriam yang terbuat dari tembag, dan beberapa batu bata yang diyakni sebagai penyusun bangunan keraton baik di Kerto maupun di Pleret.

Dijelaskan Ganang, keraton Pleret ini keberadaanya mulai meredup seiring semakin banyaknya pemberontakan. "Keraton ini benar-benar hancur karena serangan Trunojoyo, dan Amangkurat I sempat lari ke daerah Banyumas," ujar Ganang.

Setelah ditinggalkan, kemudian pusat pemerintahan Mataram Islam dipindahkan oleh Amangkurat II ke wilayah Surakarta.

Setelah ditinggalkan, sisa kerajaan Mataram dibiarkan begitu saja, dan di wilayah tersebut pada akhirnya dibangun pabrik gula oleh pemerintah Belanda. Maka tak heran saat ini cukup sulit menelusuri sisa-sisa kejayaan Mataram di Pleret.

Selain menyimpan sisa-sisa sejarah Mataram Islam, meseum tersebut juga menyimpan benda-benda bersejarah pada masa Hindu-Budha seperti beberapa jenis arca maupun lingga-yoni.

"Kami buka setiap hari, mulai dari Senin hingga Minggu dan bagi siapa saja yang berkunjung tidak dipungut biaya. Di sini juga terdapat beberapa fasilitas seperti ruang multimedia dan beberapa gazebo," pungkas Ganang.