Dia juga harus mengambil bagian dalam sebuah ekspedisi ke Kalimantan yang dibuktikan dengan fotonya berupa perempuan Dayak dari daerah tengah pulau.
Skor dari foto-foto Feilberg ini dari koleksi di Tropenmuseum di Amsterdam dapat diakses di Wikimedia Commons serta di Tropenmuseum.
Pada tanggal 1 Mei 1865, Feilberg menikahi Emma Alice Mac-Intine, Skotlandia Indonesia dan memiliki seorang putri, Emma, di George Town, Penang.
Sang ibu meninggal tak lama setelah melahirkan pada bulan Maret 1866.
Pada tahun 1876, ia menikahi Anna Eleonora Sophie Lassen tapi pernikahan itu tidak berhasil dan ia kembali ke Denmark.
Mereka memiliki satu anak, Hjalmar, yang lahir pada tahun 1877 di Medan-Deli, Sumatera tapi meninggal pada usia 2 di Holbæk.
Feilberg meninggal di Singapura pada tahun 1919.