Tahun 1899, Kyai Hasyim membeli sebidang tanah dari seorang dalang di Dukuh Tebuireng. Letaknya kira-kira 200 meter sebelah Barat Pabrik Gula Cukir, pabrik yang telah berdiri sejak tahun 1870. Dukuh Tebuireng terletak di arah timur Desa Keras, kurang lebih 1 km.

Di sana beliau membangun sebuah bangunan yang terbuat dari bambu (Jawa: tratak) sebagai tempat tinggal. Dari tratak kecil inilah embrio Pesantren Tebuireng dimulai.

Kyai Hasyim mengajar dan salat berjamaah di tratak bagian depan, sedangkan tratak bagian belakang dijadikan tempat tinggal. Saat itu santrinya berjumlah 8 orang, dan tiga bulan kemudian meningkat menjadi 28 orang.

Setelah dua tahun membangun Tebuireng, Kyai Hasyim kembali harus kehilangan istri tercintanya, Nyai Khodijah.

Saat itu perjuangan mereka sudah menampakkan hasil yang menggembirakan. Kyai Hasyim kemudian menikah kembali dengan Nyai Nafiqoh, putri Kyai Ilyas, pengasuh Pesantren Sewulan Madiun.

Dari pernikahan ini Kyai Hasyim dikaruniai 10 anak, yaitu: (1) Hannah, (2) Khoiriyah, (3) Aisyah, (4) Azzah, (5) Abdul Wahid, (6) Abdul Hakim (Abdul Kholik), (7) Abdul Karim, (8) Ubaidillah, (9) Mashuroh, (10) Muhammad Yusuf. Pada akhir dekade 1920an, Nyai Nafiqoh wafat sehingga Kyai Hasyim menikah kembali dengan Nyai Masruroh, putri Kyai Hasan, pengasuh Pondok Pesantren Kapurejo, Pagu, Kediri. Dari pernikahan ini, Kyai Hasyim dikarunia 4 orang putra-putri, yaitu: (1) Abdul Qodir, (2) Fatimah, (3) Khotijah, (4) Muhammad Ya’kub.

Pernah terjadi dialog yang mengesankan antara dua ulama besar, KH Muhammad Hasyim Asy’ari dengan KH Mohammad Cholil, gurunya.

“Dulu saya memang mengajar Tuan. Tapi hari ini, saya nyatakan bahwa saya adalah murid Tuan,” kata Mbah Cholil, begitu Kyai dari Madura ini populer dipanggil.

Kyai Hasyim menjawab, “Sungguh saya tidak menduga kalau Tuan Guru akan mengucapkan kata-kata yang demikian. Tidakkah Tuan Guru salah raba berguru pada saya, seorang murid Tuan sendiri, murid Tuan Guru dulu, dan juga sekarang. Bahkan, akan tetap menjadi murid Tuan Guru selama-lamanya.” Tanpa merasa tersanjung, Mbah Cholil tetap bersikeras dengan niatnya. “Keputusan dan kepastian hati kami sudah tetap, tiada dapat ditawar dan diubah lagi, bahwa kami akan turut belajar di sini, menampung ilmu-ilmu Tuan, dan berguru kepada Tuan,” katanya.

Karena sudah hafal dengan watak gurunya, Kyai Hasyim tidak bisa berbuat lain selain menerimanya sebagai santri.

Lucunya, ketika turun dari masjid usai shalat berjamaah, keduanya cepat-cepat menuju tempat sandal, bahkan kadang saling mendahului, karena hendak memasangkan ke kaki gurunya.

Sesungguhnya bisa saja terjadi seorang murid akhirnya lebih pintar ketimbang gurunya. Dan itu banyak terjadi.
Namun yang ditunjukkan Kyai Hasyim juga Kyai Cholil; adalah kemuliaan akhlak.

Keduanya menunjukkan kerendahan hati dan saling menghormati, dua hal yang sekarang semakin sulit ditemukan pada para murid dan guru-guru kita. Mbah Cholil adalah Kyai yang sangat termasyhur pada jamannya.

Hampir semua pendiri NU dan tokoh-tokoh penting NU generasi awal pernah berguru kepada pengasuh sekaligus pemimpin Pesantren Kademangan, Bangkalan, Madura, ini.