Pada akhir 1990-an, dia menjabat sebagai Ketua Pengadilan Negeri di tempat kelahirannya Baturaja, Sumatera Selatan. Dia mendapatkan promosi menjadi hakim di Pengadilan Negeri Jakarta Selatan pada 2003. Setelah berkarier di ibo kota, dia dipercaya menjadi Ketua Pengadilan Negeri Bandung pada 2006.

Baca: Hadiri Pemilihan Ketua MA, Hakim Agung Gunakan Toga Emas, Masker dan Sarung Tangan

Pada 2011, dia mendapatkan promosi sebagai Hakim Tinggi di Pengadilan Tinggi Palembang. Di tahun yang sama, ia juga menjabat sebagai Kepala Badan Pengawasan Mahkamah Agung. Jabatan ini diemban sampai ia terpilih menjadi Hakim Agung pada 11 Maret 2013.

Di MA, Syarifuddin menjabat sebagai Ketua Kamar Pengawasan. Setelah itu, menjabat sebagai Wakil Ketua Mahkamah Agung Bidang Yudisial sejak 2016. Jabatan Wakil Ketua MA itu dimban sampai terpilih menjadi Ketua MA menggantikan Hatta Ali yang memasuki masa pensiun.

Hakim Agung Muhammad Syarifuddin terpilih sebagai Ketua Mahkamah Agung periode 2020-2025.

Syarifuddin terpilih setelah meraih suara terbanyak melalui mekanisme pemungutan suara yang digelar di ruang Prof. Kusumaatmaja S.H. Gedung Mahkamah Agung, Jalan Medan Merdeka Utara 9-13, Jakarta Pusat, pada Senin (6/4/2020).

Berdasarkan berita acara hasil penghitungan suara, untuk putaran kedua Syarifuddin telah mendapatkan 32 suara. Sementara itu, hakim agung Andi Samsan Nganro meraih 14 suara. Sedangkan, satu suara absen, yaitu Hatta Ali yang memilih untuk tidak menggunakan hak suara.