Kemudian pada 5 Desember 1944, ia menikahi Bandiah Yayu Rulia yang dulu pernah menjadi guru mengetiknya dan dianugerahi delapan anak.
Pengabdian Ahmad Yani
Saat Peta dibubarkan dua hari setelah proklamasi maka otomatis kesatuan dari Ahmad Yani pun juga harus bubar.
Dirinya pun berusaha untuk kembali mengumpulkan anak buahnya yang sudah tercerai berai tersebut dan usahanya pun tidak sia-sian karena berhasil mengumpulkan anak buahnya sebesar satu batalyon.
Dengan kekuatan pasukannya tersebut, jasa pertamanya adalah ketika adanya peristiwa Tidar di kota Magelang pada 24 September 1945.
Peristiwa tersebut diawali dengan beberapa pemuda Indonesia mengibarkan bendera Merah Putih di puncak bukit kecil itu.
Namun bendera tersebut kemudian diturunkan oleh Jepang dan menyebabkan adanya bentrok fisik.
Jasa Ahmad Yani dan pasukannya adalah ketika ikut untuk melakukan pelucutan senjata terhadap Nakamura Butai serta di hotel Nitaka yang saat itu menjadi tempat tinggal utama Jepang di kota Magelang.
Singkat cerita, Tentara Keamanan Rakyat (TKR) pun telah terbentuk dan pasukan Ahmad Yani dijadikan Batalyon 4 dan dirinya diangkat menjadi komandan batalyon dengan pangkat Mayor.
Organisasi TKR pun berkembang dan berubah namanya menjadi Tentara Keselamatan Rakya lalu Tentara Republik Indonesia (TRI) dan akhirnya menjadi Tentara Nasional Indonesia (TNI) hingga sekarang.
Jasa pasukan Ahmad Yani pun berlanjut ketika mendapat tugas menghambat gerakan Belanda dari Semarang ke arah selatan.
Walaupun secara keseluruhan Belanda dapat merebut beberapa front tetapi pasukan Yani berhasil menang di pertempuran Pingit.
Pingit pun dijadikan garis demarkasi antara daerah yang dikuasai Belanda dengan yang dikuasai RI.
Lalu pangkatnya pun dinaikkan menjadi Letnan Kolonel.