Namun, ketika hubungan Gus Dur dan Megawati merenggang pada 2001, Gus Ipul mengundurkan diri dari PDIP sekaligus DPR.
Setelah itu, ia bergabung dengan Partai Kebangkitan Bangsa (PKB).
Lalu, pada muktamar PKB tahun 2002, Gus Ipil berhasil terpilih menjadi Sekretaris Jenderal PKB.
Kemudian, pada Oktober 2004 hingga Mei 2007, Gus Ipul menjabat sebagai Menteri Negara Percepatan Pembangunan Daerah Tertinggal pada Kabinet Indonesia Bersatu.
Saat itu, Gus Ipul dijuluki sebagai menteri yang paling sering "blusukan" di daerah - daerah tertinggal.
Namun, akibat dari konflik di tubuk PKB, Gus Ipul dicopot dari jabatan menterinya itu.
Karena tidak dianggap lagi sebagai representasi PKB lagi maka ia digantikan oleh Lukman Edy yang juga menggantikannnya sebagai Sekjen PKB.
Pada 2008, Gus Ipul terpilih menjadi Wakil Gubernur Jawa Timur mendampingi Soekarwo.
Pelantikannya dilaksanakan pada tanggal 12 Februari 2009 oleh Menteri Dalam Negeri Mardiyanto.
Lalu, pada 2013, Gus Ipul terpilih lagi menjadi Wakil Gubernur Jawa Timur dan kembali mendampingni Soekarwo.
Dia dilantik pada 12 Februari 2014 di Gedung Negara Grahadi, Jawa Timur oleh Menteri Dalam Negeri Gamawan Fauzi.
Pengalaman Organisasi
- Ketua Senat Fisip Unas Jakarta tahun 1988 -1990
- Ketua HMI Cabang Jakarta tahun 1990-1992
- Pengurus Pusat IPNU tahun 1992-1994
- Ketua Pimpinan Pusat IPNU, tahun 1990-1995
- Wakil Sekjend PP GP Ansor tahun 1995
- Sekretaris Jendral AMNU
- Sekretaris Jendral DPP Partai Kebangkitan Bangsa Th 2002-2004
- Ketua Umum PP GP Ansor tahun 2000-2005
- Ketua Umum PP GP Ansor tahun 2005-sekarang
Riwayat Karier
- Wartawan Tabloid Detik (1996-1997)
- Koordinator Liputan Tabloid Simponi (1997-1998)
- Direktur CV Fatma Press (1997)
- Pemimpin Redaksi Harian Masyarakat Baru (1998)
- Anggota DPR dari PDI Perjuangan (1999-2002)
- Anggota DPR dari PKB (2002-2004)
- Menteri Negara Pembangunan Daerah Tinggal RI (2004-2007)
- Wakil Gubernur Jawa Timur (2009-2019)
Penghargaan
- Lencana Melati (Pramuka) (2011)
- Bintang Mahaputera Adipradana (2014)
- Wredatama Nugraha Utama (2014)