KH Ali Yafie rajin mengaji kitab kuning di Pesantren Ainur Rofiq, Rappang-Sidrap, Sulawesi Selatan, di bawah asuhan as-Syeikh Ali Mathar.
KH Ali Yafie juga mengaji kitab kuning dibawah bimbingan Syeikh Mahmud Abdul Jawad di Bone, Makassar dan Syeikh Abdurrahman Firdaus di Jampoe, Pinrang.
Kemudian, KH Ali Yafie juga belajar pada Syeikh KH Muhammad As’ad, pendiri Pesantren As’adiyah di Sengkang.
Selain aktif mengaji kitab kuning dari sejumlah ulama terkemuka di Sulawesi Selatan, KH Ali Yafie juga aktif berorganisasi.
KH Ali Yafie bergabung di Darud Dakwah wal-Irsyad (DDI) bersama Abdurrahman Ambo Dalle.
Abdurrahman Ambo Dalle menjadi Ketua Pertama Darud Dakwah wal-Irsyad.
Sementara itu, KH Ali Yafie menjadi sekretaris pertama Pengurus Besar Darud Dakwah wal-Irsyad, PBDDI.
Kemudian, KH Ali Yafie aktif di Nahdlatul Ulama sejak di Parepare, kemudian aktif di Makassar.
Saat di Makassar, KH Ali Yafie tercatat sebagai Dekan Pertama Fakultas Ushuluddin di UIN Alauddin.
Keterlibatan KH Ali Yafie di NU Makassar dan Sulawesi Selatan, mengantarkannya berkiprah di Jakarta hingga masuk di jajaran PBNU.
KH Ali Yafie dikenal sebagai ulama fiqih paling disegani seperti KH Sahal Mahfudh.
Selain itu, KH Ali Yafie adalah ulama yang memperkenalkan wacana fiqih sosial.
Berkat keilmuannya, Prof KH Ibrahim Husen kala itu menjabat rektor IIQ (Institut Ilmu Al-Qur’an) menganugerahkan gelar professor kepada KH Ali Yafie pada 12 Oktober 1991 di Jakarta.
Kontribusi keilmuan dan pengabdian KH Ali Yafie ditandai dari keterlibatannya di MUI, NU, hingga ICMI.
Baca juga: Waketum MUI Minta Masyarakat Tak Salah Tafsir soal Pidato Megawati tentang Ibu-ibu Pengajian