Googlebot dijalankan secara otomatis oleh komputer-komputer powerful yang dimiliki oleh Google.

Cara kerjanya mirip dengan kegiatan browsing web oleh pengguna biasa, yakni dengan mengunjungi situs, lalu mengikuti satu tautan ke tautan lain.

Begitu seterusnya sehingga makin lama situs yang didata semakin banyak dan sebarannya makin luas.

Biasanya mesin crawling Google butuh waktu beberapa lama sebelum menemukan situs web baru.

Pemilik situs web bisa mengatur untuk membatasi kerja Googlebot dalam menelusuri situs, misalnya dengan menolak kunjungan Googlebot atau memberikan instruksi khusus soal pemrosesan informasi di dalamnya.

Laman-laman web yang dikumpulkan oleh tadi kemudian diatur melalui proses indexing.

Fungsinya mirip dengan bagian “index” pada sebuah buku, yakni mencatat informasi tentang tiap kata, judul, dan hal-hal lain berikut lokasinya di dalam database index.

Google juga mengatur indeks laman web ini berdasarkan jenis konten ada.

Hal tersebut diperlukan karena pengguna yang mencari dengan kata kunci “sungai” mungkin tidak mencari konten teks dengan kata “sungai” saja, melainkan juga foto atau video dari obyek yang bersangkutan.

Dengan kata lain, saat pengguna melakukan pencarian di Google, sebenarnya ia tidak menelusuri sendiri seisi jagat maya, tetapi mencari konten yang sudah terdaftar di database index milik sang raksasa internet.

Tahapan berikutnya setelah crawling dan indexing adalah menyajikan hasil search pada pengguna. Database Google berukuran luar biasa besar.

Jumlah situs web yang terindeks mencapai 60 triliun dengan besar ukuran file mencapai 100 juta gigabyte.

Bagaimana Google menelusuri basis data sebesar itu ketika pengguna memasukkan keyword di kolom search?