Sesudah proklamasi kemerdekaan dikumandangkan pada 17
Agustus 1945, Yos Sudarso kemudian bergabung dengan BKR (Badan Keamanan Rakyat) Laut yang kelak menjadi cikal bakal Tentara Angkatan Laut Republik Indonesia (ALRI) atau yang kini bernama TNI AL.

Di masa ini, Yos sering mengikuti operasi militer dalam memadamkan pemberontakan yang terjadi di daerah-daerah, meski pada saat itu armada kapal laut yang dimiliki Indonesia masih sangat minim.

Bersama pemuda-pemuda lain, Yos menerobos blokade Belanda, mengobarkan semangat perjuangan, membuka hubungan dan memperkuat barisan perjuangan.

Bergabung di Angkatan Laut

Tahun 1950, setelah Belanda secara penuh mengakui kedaulatan RI, Yos kemudian menjabat sebagai komandan dan memimpin cukup banyak kapal milik Republik, dari KRI Alu, KRI Gajah Mada, KRI Rajawali, hingga KRI Pattimura.

Yos juga sempat menjabat sebagai hakim pengadilan militer selama 4 bulan pada 1958.

Sementara itu, gejolak internal di Angkatan Laut Republik Indonesia (ALRI) pada 1959 mencapai titik krusial.

Yos Sudarso beserta kolonel Ali Sadikin dan para perwira lainnya tidak setuju dengan kepemimpinan Laksamana Subiyakto yang ketika itu menjabat sebagai kepala staf angkatan laut.

Konflik tersebut disebut-sebut terkait dengan perbedaan pandangan politik, juga idealisme, di kalangan perwira angkatan laut.

Pada waktu itu, militer memang menjadi ajang kekuatan yang hebat antara berbagai golongan politik, seperti digambarkan oleh Denys Lombard dalam Nusa Jawa: Jaringan Asia (1996).

Polemik tersebut akhirnya membuat Laksamana Subiyakto mundur dan digantikan oleh Kolonel R.E Martadinata sebagai kepala staf yang baru.

Tidak lama setelah itu, Yos Sudarso kemudian naik pangkat secara cepat dari Deputi hingga menjadi komodor (laksamana pertama).

Gugur di Pertempuran Aru

Tahun 1961, konfrontasi Indonesia dengan Belanda dalam pembebasan Irian Barat mencapai puncaknya dengan dibentuknya Tri Komando Rakyat (Trikora) oleh Presiden Soekarno dan Komando Mandala pada 1962, yang memiliki markas di Makassar.