Lalu pada tahun 1999, ia dipercaya menggantikan posisi Ketua Umum karena pada saat itu, Iqbal Assegaf wafat.

Setahun berselang, Saifullah Yusuf pun menjadi Ketua Umum GP Ansor.

Selanjutnya dirinya terpilih menjadi anggota DPR untuk Fraksi PDI-P.

Hanya saja, Gus Ipul memutuskan untuk keluar dari DPR dan PDI-P lalu berpindah haluan ke Partai Kebangkitan Bangsa (PKB) pada tahun 2001.

Karir politik Gus Ipul pun semakin cemerlang karena ditunjuk sebagai Sekjen PKB pada tahun 2002.

Ditambah dirinya juga sempat menjabat sebagai Menteri Negara Pembangunan Daerah Tertinggal selama satu periode di masa pemerintahan Presiden Susilo Bambang Yudhoyono.

Sayangnya akibat konflik internal, ia pun harus dicopot jabatannya sebagai Sekjen PKB dan menteri.

Selang beberapa tahun, Gus Ipul maju dalam Pilkada Gubernur dan Wakil Gubernur Jawa Timur dengan mendampingi Soekarwo.

Mereka pun berhasil menang dan terpilih selama periode 2008-2013.

Kemudian Gus Ipul dan Soekarwo pun kembali terpilih pada Pilgub periode 2014-2019.

Lalu pada tahun 2017, dirinya juga maju sebagai calon gubernur (cagub) dalam Pilgub mewakili PKB.

Dirinya pun berpasangan dengan Bupati Banyuwangi saat itu, Azwar Anas.

Namun Azwar Anas mengundurkan diri dengan mengembalikan mandatnya ke PDI Perjuangan.

Kemudian Putri Guntur Soekarno dipilih PDI-P untuk mendampingi Gus Ipul.