robots.txt, noindex, dan alat penghapusan
Suatu hari Bu Ratna ingin menyembunyikan halaman daftar harga grosir agar tidak dilihat pembeli eceran. Vendornya memblokir halaman itu melalui robots.txt. Dua minggu kemudian halaman itu masih muncul di Google, dan tidak ada yang mengerti mengapa.
Penyebabnya bukan kesalahan Google, melainkan pemakaian alat yang tidak sesuai. Ada tiga cara untuk menyembunyikan sesuatu dari Google, masing-masing dengan akibat yang berbeda, dan ketiganya sering tertukar.
Cara pertama: melarang crawling melalui robots.txt
robots.txt adalah berkas teks kecil di folder utama website yang berisi aturan untuk crawler mesin pencari, yaitu bagian mana yang boleh dibuka dan bagian mana yang tidak.
robots.txt melarang Google membuka halaman, tetapi tidak melarang Google menyimpannya. Kalau ada website lain yang menautkan halaman tersebut, Google tetap tahu halaman itu ada meskipun tidak boleh membukanya. Dalam keadaan tertentu, Google bisa tetap menampilkannya di hasil pencarian tanpa keterangan isi, karena isinya memang tidak pernah dibaca.
Karena itu robots.txt tepat dipakai untuk menjauhkan Googlebot dari bagian website yang tidak perlu dibaca, misalnya halaman hasil pencarian internal atau folder sistem. Untuk menyembunyikan halaman dari hasil pencarian, robots.txt bukan alat yang tepat.
Cara kedua: melarang pengindeksan melalui noindex
noindex adalah penanda di dalam halaman yang meminta Google tidak menyimpan halaman tersebut ke indeks. Google tetap boleh membacanya, tetapi tidak menampilkannya di hasil pencarian.
Inilah cara yang tepat untuk menyembunyikan halaman dari hasil pencarian secara permanen. Sebagian besar sistem pengelola website menyediakan pilihan atau kotak centang untuk ini di setiap halaman, sehingga Anda tidak perlu menyunting kode.
Namun ada hal penting yang perlu diingat. Agar Google mengetahui penanda noindex, Google harus bisa membuka halaman itu lebih dulu. Kalau halaman yang sama juga diblokir melalui robots.txt, Google tidak pernah membacanya, tidak pernah melihat penandanya, dan halaman itu bisa tetap muncul di hasil pencarian. Inilah yang terjadi pada halaman harga grosir Rumah Jati.
Jadi, jangan memakai robots.txt dan noindex pada halaman yang sama. Untuk menyembunyikan halaman dari hasil pencarian, gunakan noindex dan pastikan halaman tersebut tidak diblokir oleh robots.txt.
Cara ketiga: alat penghapusan di Search Console
Search Console menyediakan alat penghapusan untuk menyembunyikan sebuah alamat dari hasil pencarian dalam waktu singkat.
Ada dua hal yang perlu diketahui tentang alat ini. Pertama, sifatnya sementara, yaitu sekitar enam bulan. Setelah itu halaman bisa muncul kembali kalau penyebabnya tidak dibereskan. Kedua, alat ini tidak menghapus halaman dari website Anda. Halaman tersebut tetap bisa dibuka oleh siapa saja yang memiliki alamatnya. Yang disembunyikan hanya kemunculannya di hasil pencarian Google.
Karena itu alat penghapusan sebaiknya dipakai untuk keadaan darurat, misalnya ketika ada halaman berisi data yang tidak seharusnya terbuka dan perlu segera hilang dari Google. Selama masa enam bulan itu, bereskan penyebabnya dengan menghapus halaman, menguncinya dengan kata sandi, atau memasang noindex.
Ringkasan
Untuk menjauhkan Google dari bagian website yang tidak perlu dibaca, gunakan robots.txt.
Untuk mencegah halaman muncul di hasil pencarian, gunakan noindex dan pastikan halaman tidak diblokir oleh robots.txt.
Untuk menghilangkan sesuatu dari Google secepatnya sambil membereskan penyebabnya, gunakan alat penghapusan, lalu segera terapkan salah satu dari dua cara di atas.
Untuk halaman yang benar-benar harus dirahasiakan, misalnya berisi data pelanggan atau harga khusus, ketiga cara tersebut tidak cukup. Halaman seperti itu perlu dilindungi kata sandi. Halaman yang bisa dibuka siapa saja yang mengetahui alamatnya tidak bisa dianggap rahasia.
Memeriksa robots.txt website Anda
Buka alamat website Anda diikuti /robots.txt. Isinya tampil sebagai teks biasa dan bisa dibaca siapa pun, termasuk pesaing. Karena itu jangan mencantumkan hal yang sensitif di dalamnya, termasuk alamat halaman yang justru ingin Anda sembunyikan.
Search Console juga menyediakan laporan robots.txt yang menunjukkan berkas mana yang ditemukan Google dan apakah berkas itu bisa dibaca dengan benar.