Bersama dua adik sepupunya, yakni Azra'i dan Suward, ia diajak belajar ke Yogyakarta oleh M. Sanusi Latief.
Namun sesampai di Yogyakarta, niatnya bersekolah kandas karena kelas sudah penuh.
Tidak lama setelah itu, ia justru diangkat menjadi guru Bahasa Inggris dan Bahasa Indonesia di sekolah tersebut.
Baca juga: Kabarkan Buya Syafii Maarif Meninggal Dunia, Mahfud MD: Indonesia Kehilangan Tokoh Besar
Ia kemudian mendaftar ke Mu'allimin dan akhirnya ia diterima.
Selama belajar di sekolah tersebut, ia aktif dalam organiasi kepanduan Hizbul Wathan dan pernah menjadi pemimpin redaksi majalah Sinar (Kini Dibawahi oleh Lembaga Pers Mu'allimin) yakni sebuah majalah pelajar Muallimin di Yogyakarta.
Sepeninggal sang ayah pada 5 Oktober 1955, Buya Syafii masih menyelesaikan sekolahnya.
Tidak lama setelah tamat sekola, usia 21, ia berangkat ke Lombok memenuhi permintaan Konsul Muhammadiyah dari Lombok untuk menjadi guru.
Setahun mengajar di sebuah sekolah Muhammadiyah di Pohgading, Buya Syafii kembali lagi ke Jawa untuk melanjutkan pendidikan ke perguruan tinggi di Surakarta.
Buya Syafi masuk ke Universitas Cokroaminoto dan memperoleh gelar sarjana muda pada tahun 1964.
Ia melanjutkan pendidikannya di Fakultas Keguruan Ilmu Sosial, IKIP (sekarang Universitas Negeri Yogyakarta) dan tamat pada tahun 1968.
Selanjutnya bekas aktivis Himpunan Mahasiswa Islam ini, terus meneruskan menekuni ilmu sejarah dengan mengikuti Program Master di Departemen Sejarah Universitas Ohio, AS.
Sementara gelar doktornya diperoleh dari Program Studi Bahasa dan Peradaban Timur Dekat, Universitas Chicago, AS.
Buya Syafii lalu terlibat secara intensif melakukan pengkajian terhadap Al-Quran, dengan bimbingan tokoh pembaharu pemikiran Islam, Fazlur Rahman, Nurcholish Madjid dan Amien Rais.
Baca juga: Kondisi Kesehatan Buya Syafii Maarif Sebelum Meninggal Dunia Hari Ini, Sering Keluar Masuk RS
Karir