Namun jauh sebelum itu, Abdullah Sungkar dan Abu Bakar Baasyir mulai dikenal saat mendirikan Pondok Pesantren Al Mukmin di Ngruki, Cemani, Sukoharjo.

Mereka mendirikan pesantren itu bersama sejumlah tokoh lain yang tergabung di simpul organisasi Dewan Dakwah Islamiyah Indonesia (DDII) yang didirikan Mohammad Natsir.

Benih ideologis menguat di tempat ini, yang kemudian identik dengan pergerakan NII warisan Kartosoewirjo.

Inilah yang membuat Abdullah Sungkar dan Abu Bakar Baasyir harus berhadapan dengan pemerintah dan apparat keamanan Indonesia.

Sesudah ditangkap dan ditahan sejak 1983, keduanya divonis 9 tahun penjara pada 1985. Kasusnya naik ke kasasi dan mereka dikenai tahanan rumah.

Di saat itulah, Abdullah Sungkar alias Abdul Halim dan Abu Bakar Baasyir alias Abdus Somad hijrah ke Kuala Pilah Negeri Sembilan, sebelum pindah ke Johor Bahru, Malaysia.

Mereka kelak mendirikan madrasah Luqmanul Hakim, dan dari titik inilah pada tahun 1993 Abdullah Sungkar mendirikan pergerakan baru Al Jamaah Al Islamiyah atau JI, sekaligus memimpinnya.

Kelahiran JI tak terlepas dari konflik elite jamaah NII, yang kemudian memisahkan tokoh-tokoh asal Ngruki dari kelompok NII Ajengan Masduki yang berbasis di Jawa Barat.

Pernyataan infishol itu secara formal mengakhiri hubungan dengan NII Jawa Barat, dan menjadi titik awal Jemaah Islamiyah.

Namun sebelum Jamaah Islamiyah eksis, mengerucut sebagai organisasi dengan struktur yang lengkap, kelompok Abdullah Sungkar dan Abu Bakar Baasyir telah membangun jaringan dengan kelompok mujahidin di Afghanistan.

Karena itu secara bergelombang, Abdullah Sungkar memberangkatkan murid-muridnya warga Indonesia dan ada juga warga Malaysia, berguru ke Pakistan dan Afghanistan.

Sebagian alumni-alumni Afghanistan, murid-murid Abdullah Sungkar dan Abu Bakar Baasyir dan jaringan murid serta alumni Luqmanul Hakim Johor Bahru inilah yang kemudian pada waktunya terlibat aksi-aksi peledakan bom dan kekerasan bersenjata di Indonesia.

Jamaah Islamiyah di bawah Abdullah Sungkar saat itu telah menjelma menjadi gerakan yang membangkitkan kegairahan luar biasa, dan berjuang untuk tegaknya hukum Islam secara lebih luas tak hanya di Indonesia.

Mereka mengirimkan orang-orangnya ke Mindanao, Filipina dan Patani Thailand.

Sehingga wilayah operasi Jamaah Islamiyah terbentang cukup luas terbagi dalam sejumlah wilayah kerja atau mantiqiyah.