Crawling adalah mencari dan mencatat aneka situs web dengan program khusus bernama Googlebot, juga dikenal dengan sebutan robot, bot, atau spider.

“Googlebot menggunakan proses algoritmik: program komputer menentukan mana situs yang harus ditelusuri (crawling), seberapa sering, dan sebanyak apa laman yang diambil dari sebuah situs,” tulis Google dalam laman penjelasannya.

Googlebot dijalankan secara otomatis oleh komputer-komputerpowerrful yang dimiliki oleh Google.

Cara kerjanya mirip dengan kegiatan browsing web oleh pengguna biasa, yakni dengan mengunjungi situs, lalu mengikuti satu tautan ke tautan lain.

Begitu seterusnya sehingga makin lama situs yang didata semakin banyak dan sebarannya makin luas.

Biasanya mesin crawling Google butuh waktu beberapa lama sebelum menemukan situs web baru.

Pemilik situs web bisa mengatur untuk membatasi kerja Googlebot dalam menelusuri situs, misalnya dengan menolak kunjungan Googlebot atau memberikan instruksi khusus soal pemrosesan informasi di dalamnya.

Laman-laman web yang dikumpulkan oleh tadi kemudian diatur melaluiproses indexing.

Fungsinya mirip dengan bagian “index” pada sebuah buku, yakni mencatat informasi tentang tiap kata, judul, dan hal-hal lain berikut lokasinya di dalam database index.

Google juga mengatur indeks laman web ini berdasarkan jenis konten ada.

Hal tersebut diperlukan karena pengguna yang mencari dengan kata kunci “sungai” mungkin tidak mencari konten teks dengan kata “sungai” saja, melainkan juga foto atau video dari obyek yang bersangkutan.

Dengan kata lain, saat pengguna melakukan pencarian di Google, sebenarnya ia tidak menelusuri sendiri seisi jagat maya, melainkan mencari konten yang sudah terdaftar di database index milik sang raksasa internet.

Tahapan berikutnya setelah crawling dan indexing adalah menyajikan hasil search pada pengguna.

Database Google berukuran luar biasa besar. Jumlah situs web yang terindeks mencapai 60 triliun dengan besar ukuran file mencapai 100 juta gigabyte.