Sjafrie mengawali karier militernya di Komando Pasukan Khusus sebagai Komandan Pleton pada tahun 1975.

Ia kemudian menjadi Komandan Kompi, Komandan Bataliyon, dan Wakil Asiaten Operasi Komando Pasukan Khusus. 

Sjafrie juga pernah menjabat Komandan Grup A Paspampres, Komandan Korem 061 Surya Kencana Bogor pada awal Maret 1995, Kepala Staf Garnisun Jakarta pada Februari 1996 dengan pangkat Brigjen TNI. 

Dia juga pernah menjabat sebagai Kasdam Jaya pada Agustus 1996, Pangdam Jaya di tahun 1997, Asisten Teritorial Kasum ABRI di tahun 1998, Koordinator Staf Ahli Panglima TNI pada tahun 2001, Kepala Pusat Penerangan TNI di tahun 2002, Sekjen Kemhan di tahun 2005.

Ia juga dipercaya menduduki jabatan Wakil Menteri Pertahanan pada tahun 2010 sampai 2014 di Kabinet Indonesia Bersatu jilid 2. 

Sjafrie menyandang pangkat militer aktif sebagai Letnan Jenderal TNI sampai 2011.

Dari sisi akademi, Sjafrie pernah mengikuti pendidikan di bidang bisnis administrasi di National University of Singapore pada 2015. 

Selain itu, ia juga mengenyam pendidikan di NATO School Oberammergau Jerman 2015 sampai dengan 2019, National Develeopment Course National Defence University Taiwan pada 2016, dan NATO Defence College Roma Italia pada 2018.

Pada tahun 2021 Sjafrie, mendaftarkan diri mengikuti perkuliahan jenjang Paacasarjana Doktoral di Universitas Pertahanan Indonesia. 

Pada 13 April 2023, ia meraih gelar Doktor Ilmu Pertahanan Universitas Pertahanan Republik Indonesia dengan predikat Summa Cum Laude.

Ia menulis disertasi dengan judul Pengembangan Model Kerja Sama Sipil-Militer Dalam Pengelolaan Kebijakan Umum Pertahanan Negara Indonesia.

Sjafrie juga dilibatkan dalam ajang Asian Games pada 2018 sebagai Wakil Ketua Pelaksana Indonesia Asian Organizing Committee.

Sebelum diberi amanah sebagai Menhan, Sjafrie bertugas sebagai Asisten Khusus Bidang Manajemen Pertahanan Negara Menhan RI Prabowo.