Googlebot: Memasuki Halaman Web dengan Akses Terbatas

Friday, April 04, 2008

Kita mungkin pernah mengalami ketika mengklik link yang ada dalam halaman hasil pencarian Google yang kita dapati halaman login website yang dituju yang sama sekali jauh dari yang diharapkan, tanpa mengandung keyword yang kita masukkan dalam pencarian Google. Tentu saja Google tidak salah. Googlebot sebagai alat Google dalam mengindeks halaman web pernah mengunjungi halaman tersebut. Untuk membuktikannya kita dapat melihat halaman yang disimpan Google dengan mengklik link “Tembolok” (atau “Cached”). Ketika kemudian kita memutuskan untuk menjelajah halaman-halaman lain dari website tersebut, meskipun kita masih dapat memanfaatkan fasilitas caching Google dengan mengisikan keyword cache:URL pada kotak pencarian Google, namun cara ini tidak efektif. Akan lebih efektif jika kita langsung menyamar sebagai Googlebot itu sendiri.

Dengan menggunakan browser Mozilla Firefox, kita dapat mengubah identitas browser (user agent) dengan mengetikkan about:config pada address bar. Kemudian klik kanan pada area halamannya dan pilih New — String. Isikan preference name dengan “general.useragent.override” (tanpa tanda petik), selanjutnya masukkan nilainya dengan “Googlebot/2.1 (+http://www.googlebot.com/bot.html)”. Maka, ketika kemudian mengakses halaman yang terbatas tadi, kita dapat langsung menampilkannya, karena Firefox yang digunakan diidentifikasi sebagai Googlebot. Untuk kembali sebagai Firefox, hapus baris setting yang kita masukkan tadi.

Agar mudah mengubah-ubah user agent Firefox menjadi Googlebot, kembali semula atau bahkan browser lain, kita dapat memanfaatkan add-on User Agent Switcher. Setelah diinstall dan Firefox di-restart, untuk menambahkan user agent Googlebot, masuk menu Tools — User Agent Switcher — Option — Options.. Pada menu user agent, pilih Add.. Masukkan “Googlebot” pada description dan pada User Agent isikan “Googlebot/2.1 (+http://www.googlebot.com/bot.html)”, dan klik OK. Setelahnya, ketika akan mengakses halaman web dimaksud, masuk menu Tools — User Agent Switcher dan pilih Googlebot. Untuk kembali menjadi Firefox kembali, dengan cara yang sama, kita pilih Default.