Saat itu pers dan beberapa pengamat membangun opini bahwa ia sedang ditindas oleh Taufik Kiemas, suami Megawati.

Sebanyak dua kali rapat kordinasi bidang Polkam batal dilakukan karena ketidakhadiran para menteri terkait.

Lalu pada 9 Maret 2004, dia pun menyurati Presiden Megawati mempertanyakan kewenangannya sekaligus minta waktu bertemu.

Namun, Presiden tidak menjawab surat itu.

Baca juga: Jokowi: Saya Menghargai Niat Pak Mahfud Mundur

Mensesneg Bambang Kusowo kepada wartawan mengatakan tidak seharusnya seorang menteri (pembantu presiden) mesti membuat surat meminta bertemu dengan presiden.

SBY pun diundang mengahadiri rapat menteri terbatas.

Tapi ia tidak datang.

Ia merasa suratnya tak ditanggapi.

Lalu pada 11 Maret 2004, ia memilih mengundurkan diri dari jabatan Menko Polkam karena merasa kewenangannya sebagai Menko Polkam telah diambil-alih oleh Presiden Megawati Soekarnoputri.

Pada situasi itu, M. Jusuf Kalla, yang menjabat Menko Kesra, menemuinya.

Lalu, malam harinya, di sebuah hotel, ia bertemu Abdurrahman Wahid yang diisukan sudah sejak beberapa waktu menimangnya menjadi calon presiden dari PKB.

"Sesuai dengan hak politik saya, jika nanti pada saatnya ada partai politik, katakanlah Partai Demokrat dan dengan gabungan partai lain yang mengusulkan saya sebagai calon presiden, insya Allah saya bersedia," kata SBY saat itu.

Keputusan pengunduran dirinya dinilai berbagai pihak suatu keputusan yang elegan.

Dalam perjalanan kariernya, Yudhoyono, memang selalu ingin tampak elegan baik dalam bertutur maupun bersikap.