Jadi hal-hal tersebut di atas menimbulkan kegelisahan dan keinginan yang kuat dikalangan intelektual-intelektual muda NU untuk mendirikan organisasi sendiri sebagai wahana penyaluran aspirasi dan pengembangan potensi mahasiswa-mahsiswa yang berkultur NU. Disamping itu juga ada hasrat yang kuat dari kalangan mahsiswa NU untuk mendirikan organisasi mahasiswa yang berideologi Ahlussunnah Wal Jama’ah. Dengan berasaskan Pancasila.
Selain itu ada faktor lain, diantaranya carut marutnya situasi politik bangsa indonesia dalam kurun waktu 1950-1959. Tidak menentunya sistem pemerintahan dan perundang-undangan yang ada. Pisahnya NU dari Masyumi. Ketika PSI (Partai Sosialis Indonesia) dan Masyumi dibubarkan oleh Bung Karno, Bung Karno meminta kepada NU untuk mendirikan oganisasi mahasiswa Islam yang 'Indonesia,' maka pada tanggal 27-31 Desember 1958 IPNU mengadakan Muktamar III di Cirebon Jawa Barat yang membentuk Departemen Perguruan Tinggi di IPNU.
Namun Departemen Perguruan Tinggi ini tidak bisa menampung aspirasi mahasiswa karena IPNU status-nya sebagai pelajar karrnanya mahasiswa NU tidak bisa bergabung, maka pada tanggal 14-16 Maret 1960 IPNU mengadakan konbes (konferensi Besar) di Kaliurang Yogyakarta di dalam konbes itu di cetuskanlah untuk mendirikan organisasi baru yang sepenuhnya terlepas dari IPNU baik secara organisatoris maupun administratif. Lalu
dibuatlah panitia sponsor yang berjumlah 13 orang. Dari rintisan inilah PMII berdiri.
Adapun tujuan didirikannya PMII sebagaimana termaktub dalam Anggaran Dasar (AD PMII) BAB IV pasal 4 "Terbentuknya pribadi muslim Indonesia yang bertaqwa kepada Allah SWT, berbudi luhur, berilmu, cakap dan bertanggung jawab dalam mengamalkan ilmunya serta komitmen memperjuangkan cita-cita kemerdekaan Indonesia."
Tujuan ini tak lama langsung mendapatkan ujianm, tepat sekitar lima tahun PMII berdiri, mereka harus berurusan dengan Parpol PKI beserta dengan gerakan dan jargon-jargonnya.
Maka PMII sebagai organisasi mahasiswa berdimensi kepemudaan, aktivitas-aktivitas yang dilakukan PMII disamping di dunia kemahasiswaan juga dunia kepemudaan. Aktivitas PMII pada kurun waktu itu (1965 – 1968), turut membidani lahirnya angkatan baru dalam dunia kepemudaan di Indonesia, yang akhirnya angkatan ini dikenal dengan istilah “ANGKATAN 66”.
Kelahiran angkatan 66 ini merupakan reaksi terhadap kebijaksanaan Presiden Soekarno yang membiarkan PKI dan antek-anteknya tetap hidup di Bumi Pertiwi ini, kendatipun PKI melakukan makar dengan melakukan gerakan 30 September. Keadaan yang demikian itu semakin diperburuk oleh ketidak mampuan rezim Orde Lama dalam menangani persoalan ekonomi, disamping ketidakmampuan lembaga Legeslatif menjalankan fungsi kontrolnya terhadap penyimpangan yang dilakukan pemerintah Orde Lama.
PMII sebagai bagian dari mahasiswa dan generasi muda bangsa merasa terpanggil untuk membela kepentingan rakyat. Karena melihat lembaga Legeslatif tidak mampu menjalankan peran dan fungsinya serta tersumbatnya saluran dialog dengan pemerintah, maka mahasiswa mengambil alih peran legeslatif dan gerakan protes di jalan-jalan raya.
Mereka meneriakkan aspirasi rakyat yang tertindas yang dikenal dengan TRI-TURA (tiga tuntutan hati nurani Rakyat). Sejak saat itulah gerakan mahasiswa, pemuda dan pelajar dikenal dengan istilah baru “GERAKAN PARLEMEN JALANAN”. Gerakan parlemen jalanan ini sangat mungkin terjadi, karena suasana politik saat itu memungkinkan mahasiswa, pemuda dan pelajar matang secara politik. Hal ini akibat sistem politik yang dikembangkan pemerintah Orde Lama waktu itu.
Selain hal diatas, hal yang patut di ingat adalah ketika organisasi mahasiswa, pelajar dan pemuda yang dulunya mempunyai hubungan baik dengan eks partai Masyumi, seperti GPII (Gerakan pemuda Islam Indonesia), PII (Pelajar Islam Indonesia), dan HMI (Himpunan Mahasiswa Islam) sedang mengalami cobaan berat, terutama cobaan yang berasal dari fitnahan PKI dan organ-organ sayapnya, bahkan akhirnya dibekukan.
Atas nama solidaritas, PMII tanggal 19- 26 Desember 1964 bertempat di Jakarta menghimpun seluruh organisasi pemuda pelajar dan mahasiswa Islam untuk menyelamatkan. Setelah terselamatkan semua bersatu padu melawan PKI (Harian Suara Islam, Jakarta, tanggal 22 September 1965).
Begitu juga pada zaman Orba, PMII bersama HMI dan organisasi mahasiswa lain turut menurunkan tirani-Orba karena krisis ekonomi pada tahun 1998.
Pada reformasi ini, PMII masih istiqamah mengawal jalannya pemerintahan, sekaligus menjadi penyambung lidah rakyat dan lokomotor perubahan.
Bahkan Hari ini kita menyaksiakan dengan kasat mata, Ribuan kader alumni PMII telah berperan aktif dalam perubahan bangsa dengan menempatkan kader terbaiknya di lembaga eksekutif, legislatif dan yudikatif di berbagai tingkatan dari pusat hingga daerah, juga tersebar di berbagai lembaga negara bahkan ketua partai politik seperti PKB, jadi, tidak disangsikan lagi peranan PMII begitu nyata sebagai "lokomotif perubahan untuk Indonesia".