Sementara kakeknya bernama Syaikh Abdul Hafidh Bugis, seorang ulama yang cukup lama mengajar di Masjidil Haram, Mekah.

Pendidikan agama diperoleh KH Ali Yafie sejak kanak-kanak dari rang tuanya sehingga pada usia 12 tahun, KH Ali Yafie sudah mampu membaca kitab kuning.

Menempuh pendidikan formal di Sekolah Rakyat, KH Alie Yafie kemudian dikirim oleh ayahnya ke sejumlah pesantren di Sulsel.

KH Ali Yafie mengaji kitab kuning di Pesantren Ainur Rofiq, Rappang-Sidrap, Sulsel, di bawah asuhan as- Syeikh Ali Mathar.

Ia juga mengaji kitab kuning dibawah bimbingan Syeikh Mahmud Abdul Jawad, ulama kharismatik yang mukim di Bone.

Selain aktif mengaji kitab kuning dari sejumlah ulama terkemuka di Sulsel, KH Ali Yafie juga aktif berorganisasi.

KH Ali Yafie bergabung di Darud Dakwah wal-Irsyad (DDI) hingga akhirnya menjadi sekretaris pertama Pengurus Besar Darud Dakwah wal-Irsyad, PBDDI.

Kemudian KH Ali Yafie aktif di NU sejak di Parepare lalu berkiprah di Makassar.

KH Ali Yafie tercatat sebagai Dekan Pertama Fakultas Ushuluddin UIN Alauddin, Makassar.

KeterlibatanKH Ali Yafie di NU Makassar dan Wilayah Sulsel, kemudian mengantarkannya berkiprah di Jakarta bahkan masuk di jajaran PBNU.

Ia menjadi Rais Aam PBNU pada 1991-1992. 

Selain itu, ia juga menjabat Ketua MUI pada 1990-2000. 

(Tribunnews.com/Daryono/Wahyu Aji) (TribunTimur)