Pertama, mesin pencari menjelajah Web untuk melihat apa yang ada. Tugas ini dilakukan oleh sebuah software, yang disebut crawler atau spider (atau Googlebot, seperti halnya dengan Google). Spider mengikuti link dari satu halaman ke halaman lain dan indeks segala sesuatu yang mereka temukan dalam perjalanan mereka. Setelah diketahui jumlah halaman di Web (lebih dari 20 miliar), adalah mustahil untuk spider untuk mengunjungi situs setiap hari hanya untuk melihat apakah suatu halaman baru telah muncul atau jika halaman yang ada telah dimodifikasi, kadang-kadang crawler tidak mungkin mengunjungi situs Anda untuk satu atau dua bulan. Setelah halaman dijelajahi, langkah berikutnya adalah untuk indeks isinya. Halaman diindeks disimpan dalam database raksasa, dari mana nanti dapat diambil. Pada dasarnya, proses pengindeksan adalah mengidentifikasi kata-kata dan ungkapan yang paling menggambarkan halaman dan menugaskan halaman untuk kata kunci tertentu. Untuk manusia tidak akan mungkin untuk memproses jumlah tersebut informasi tetapi umumnya mesin pencari menangani dapat menangani dengan baik untuk tugas ini. Kadang-kadang mereka mungkin tidak mendapatkan arti dari hak halaman tetapi jika Anda membantu mereka dengan mengoptimalkannya, akan lebih mudah bagi mereka untuk mengklasifikasikan halaman Anda dengan benar untuk Anda - untuk mendapatkan peringkat yang lebih tinggi.
Ketika datang permintaan pencarian, mesin pencari proses itu - yakni membandingkan string pencarian dalam permintaan pencarian dengan halaman yang terindeks dalam database. Karena ada kemungkinan bahwa lebih dari satu halaman (praktis itu adalah jutaan halaman) berisi string pencarian, mesin pencari mulai menghitung relevansi setiap halaman dalam indeks dengan string pencarian.
Ada berbagai algoritma untuk menghitung relevansi. Masing-masing algoritma mempunyai bobot relatif berbeda untuk faktor umum seperti kepadatan kata kunci, link, atau metatags. Itu sebabnya mesin pencari yang berbeda memberikan halaman hasil pencarian yang berbeda untuk string pencarian yang sama. Terlebih lagi, itu adalah fakta diketahui bahwa semua mesin pencari utama, seperti Yahoo!, Google, Bing, dll secara periodik mengubah algoritma mereka dan jika Anda ingin tetap di atas, Anda juga perlu menyesuaikan halaman Anda terhadap perubahan terbaru . Inilah salah satu alasan (yang lainnya adalah pesaing Anda) untuk mengabdikan upaya-upaya permanen untuk SEO, jika Anda ingin berada di atas.
Langkah terakhir dalam kegiatan mesin pencari 'ini sedang mengambil hasilnya. Pada dasarnya, itu tidak lebih dari sekedar menampilkan mereka di browser - yaitu halaman tak berujung hasil pencarian yang diurutkan dari yang paling relevan dengan situs yang paling relevan.
Perbedaan cara kerja search engine