Ahmad Yani yang sebelumnya bersekolah di AMS harus meninggalkannya pada tahun 1940 karena pemerintah Hindia Belanda mengumumkan milkisi untuk menghadapi menjalarnya perang akibat dari adanya Perang Dunia II.

Dirinya pun selanjutnya mendaftarkan sebagai aspirant pada Dinas Topografi Militer.

Pendidikannya pun ditempuh di Malang dalam waktu enam bulan.

Pada pertengahan tahun 1941, dirinya ditugaskan di Bandung dengan pangkat Sersan Cadangan Bagian Topografi.

Atasannya pun melihat adanya bakat militer pada Ahmad Yani sehingga ia dikirimkan ke Bogor untuk mengikuti pendidikan militer secara intensif pada akhir tahun 1941.

Perang pertama yang diikuti Ahmad Yani ketika adanya pertempuran di Ciater, Lembang ketika membantu Angkatan Perang Belanda menahan serangan pasukan Jepang.

Akibatnya Ahmad Yani pun ditahan dan ditempatkan di kamp tawanan di Cimahi.

Setelah itu Yani kembali ke kampung halamannya setelah dibebaskan melalui beberapa kali pemeriksaan.

Pada tahun 1942, Ahmad Yani menganggur tetapi di awal tahun 1943, dirinya mendaftarkan diri untuk menjadi juru bahasa (Cuyaku).

Kehadiran Ahmad Yani pun dilirik oleh seorang perwira Jepang, Obata karena dirasa memiliki bakat militer tinggi.

Obata pun mengusulkan Ahmad Yani untuk mengikuti pendidikan militer untuk heiho di kota Magelang.

Dirinya pun lulus dengan mudah dan selanjutnya dikirim ke Bogor untuk mengikuti pendidikan Syodanco pada Boei Giyugun Kambu Renseitai.

Lalu selama empat bulan menempuh pendidikan di Bogor, dirinya pun dinobatkan sebagai siswa terbaik dan dihadiahi sebilah pedang samurai berbentuk istimewa yang dihadiahkan kepadanya.

Setelah itu ia kembali ke Magelang dan mulai Januari 1944 menjalani dinas aktif sebagai Komandan Dai Ici Syodan Dai San Cudan dari Dai Ni Daidan (Komandan Seksi I Kompi III Batalyon II).