Cara Google menemukan, menyimpan, dan menampilkan halaman
Suatu hari Bu Ratna menambahkan halaman produk baru untuk lemari pakaian tiga pintu. Sore harinya ia mencari “lemari pakaian tiga pintu jati” di Google, dan halamannya tidak muncul. Keesokan harinya pun belum muncul. Seminggu kemudian ia menelepon vendornya dan bertanya apakah websitenya rusak.
Websitenya tidak rusak. Setiap halaman baru perlu melewati tiga tahap sebelum bisa muncul di hasil pencarian, dan ketiga tahap itu membutuhkan waktu. Memahami tahap-tahap ini akan sangat membantu, karena sebagian besar kebingungan tentang Search Console berasal dari ketiganya yang sering tertukar.
Tahap pertama: di-crawl
Google memiliki program yang terus membuka halaman-halaman di internet. Program ini bernama Googlebot, dan kegiatannya disebut crawling.
Googlebot menemukan halaman baru terutama dengan dua cara. Cara pertama adalah lewat tautan dari halaman lain yang sudah dikenalnya. Kalau halaman lemari tiga pintu ditautkan dari halaman kategori lemari, besar kemungkinan Googlebot akan menemukannya saat mengunjungi halaman kategori tersebut. Cara kedua adalah lewat peta situs, yaitu daftar alamat halaman yang Anda kirimkan sendiri kepada Google. Peta situs dibahas lengkap di Bab 7.
Halaman yang sudah di-crawl berarti sudah dibuka dan dibaca oleh Googlebot. Pada tahap ini halaman tersebut belum tentu disimpan.
Tahap kedua: diindeks
Setelah membaca sebuah halaman, Google memutuskan apakah halaman itu layak disimpan ke dalam indeks, yaitu daftar induk berisi halaman-halaman yang bisa ditampilkan di hasil pencarian.
Keputusan ini tidak terjadi otomatis. Google menilai apakah isi halaman cukup berguna, apakah isinya sama dengan halaman lain, dan apakah ada perintah dari pemilik website yang melarang penyimpanan. Halaman yang dinilai tidak layak akan berhenti di tahap ini.
Hal ini sering mengejutkan pemilik website. Halaman yang sudah di-crawl belum tentu diindeks, dan keadaan seperti ini terjadi setiap hari di banyak website tanpa ada kesalahan teknis apa pun. Alasan-alasannya dibahas satu per satu di Bab 15 dan Bab 16.
Tahap ketiga: ditampilkan
Halaman yang sudah masuk indeks baru memiliki kesempatan untuk muncul ketika ada orang mencari sesuatu. Kesempatan ini tidak sama dengan jaminan.
Setiap kali seseorang mengetik kata pencarian, Google memilih halaman dari indeksnya dan mengurutkan mana yang paling sesuai. Halaman yang sama bisa muncul di urutan ketiga untuk satu pencarian, di urutan kelima puluh untuk pencarian lain, dan tidak muncul sama sekali untuk pencarian yang ketiga.
Jadi, ketika halaman Anda tidak muncul di Google, ada tiga kemungkinan penyebab dengan penanganan yang berbeda:
Halaman belum pernah di-crawl, sehingga Google belum tahu halaman itu ada. Penanganannya ada di sisi penemuan, yaitu tautan dari halaman lain di website Anda dan peta situs.
Halaman sudah di-crawl tetapi tidak diindeks, sehingga Google tahu halaman itu ada tetapi memilih tidak menyimpannya. Penanganannya ada di isi halaman atau di pengaturan teknis yang menghalangi.
Halaman sudah diindeks tetapi tidak muncul untuk pencarian yang Anda harapkan, karena Google menilai halaman lain lebih sesuai. Penanganannya membutuhkan waktu lebih lama, biasanya lewat perbaikan isi.
Sebelum mengetahui halaman Anda berada di kemungkinan yang mana, perbaikan apa pun hanya berdasarkan dugaan. Cara memeriksanya dijelaskan di Bab 17.
Berapa lama prosesnya
Tidak ada angka pasti untuk hal ini. Yang bisa dikatakan, halaman baru di website yang sering diperbarui dan sudah dikenal Google biasanya diproses lebih cepat daripada halaman baru di website yang jarang disentuh.
Untuk website usaha seukuran Rumah Jati, waktu beberapa hari sampai beberapa minggu masih tergolong wajar. Kalau sudah lebih dari sebulan dan halaman penting Anda belum juga terindeks, barulah perlu diperiksa apa penyebabnya.
Tentang crawl budget
Anda mungkin pernah membaca istilah crawl budget atau anggaran crawling, yaitu batas jumlah halaman yang bersedia di-crawl Google dari satu website dalam periode tertentu.
Istilah ini memang ada, tetapi hampir tidak berpengaruh bagi website usaha pada umumnya. Crawl budget baru menjadi masalah pada website dengan puluhan atau ratusan ribu halaman, seperti toko daring berskala besar atau portal berita yang sudah berumur belasan tahun. Website dengan puluhan, ratusan, bahkan beberapa ribu halaman tidak akan terkendala oleh hal ini.
Jadi kalau halaman Anda belum terindeks, penyebabnya hampir pasti bukan crawl budget, dan Anda tidak perlu menghabiskan waktu untuk menyelidikinya.