Apa Itu Googlebot

          Pengertian Googlebot

Pada saat pertama kali saya terjun ke dunia blogging saya sedikit dibuat bingung dan pikiran saya terganggu dengan istilah googlebot, spider, perayapan situs, robot.txt, dan istilah lainnya yang belum saya pahami. Apa yang dimaksud dengan googlebot...? Itulah pertanyaan saya pada saat pertama kali terjun ke dunia blog, mungkin pengalaman saya ini akan berguna apabila saya share kepada anda para sahabbat blogger.

Saya rasa sekarang anda mengalami hal yang saya alami saaet ketika saya baru terjun ke dunia blogger dulu makannya anda sekarang membuka dan membaca tulisan saya ini (koreksi jika saya salah). Pembahasan tentang googlebot sudah saya rangkum dari berbagai sumber dengan harapan anda bisa paham dengan apa yang akan saya sampaikan ini, berikut pembahasannya.

Googlebot adalah bot perayapan web Google (terkadang juga disebut "spider"). Perayapan adalah proses Googlebot dalam menemukan laman baru dan termutakhir untuk dimasukkan ke dalam indeks Google. Google menggunakan banyak sekali komputer untuk mengambil (atau "merayapi") miliaran laman di web. Googlebot menggunakan proses algoritme: program komputer menentukan situs mana yang dirayapi, seberapa sering, dan berapa banyak laman yang diambil dari tiap situs.

Proses perayapan Googlebot dimulai dengan daftar URL laman web, yang dihasilkan dari proses perayapan sebelumnya ditambah dengan data Peta Situs yang diberikan oleh webmaster. Saat mengunjungi tiap situs web ini, Googlebot mendeteksi tautan (SRC dan HREF) pada tiap laman dan menambahkannya ke dalam daftar laman untuk dirayapi. Situs baru, perubahan terhadap situs yang ada, dan tautan mati dicatat dan digunakan untuk memperbarui Google indeks.

Untuk webmaster: Googlebot dan situs Anda

Cara Googlebot mengakses situs Anda

Bagi kebanyakan situs, Googlebot seharusnya tidak mengakses situs Anda lebih dari satu kali tiap beberapa detik secara rata-rata. Namun, karena penundaan jaringan, laju perayapan Googlebot bisa tampak sedikit lebih tinggi dalam periode waktu yang singkat.

Googlebot dirancang untuk didistribusikan di beberapa komputer guna meningkatkan kinerja dan skala seiring dengan bertumbuhnya web. Selain itu, untuk mengurangi penggunaan bandwidth, Google menjalankan banyak perayap di komputer yang terletak di dekat situs yang diindeksnya dalam jaringan.

Oleh sebab itu, log Anda mungkin menampilkan kunjungan dari beberapa komputer di google.com, semua dengan agen-pengguna Googlebot. Tujuan google adalah untuk merayapi sebanyak mungkin laman situs Anda pada setiap kunjungan tanpa membuat bandwidth server Anda kewalahan. Meminta perubahan laju perayapan.

Memblokir Googlebot dari konten di situs Anda

Hampir tidak mungkin untuk menjaga kerahasiaan server web dengan tidak memublikasikan tautan ke server. Saat seseorang mengikuti tautan dari server "rahasia" Anda ke server web lainnya, tak lama URL "rahasia" Anda dapat muncul di tag perujuk dan dapat disimpan serta dipublikasikan oleh server web lain dalam log perujuknya. Demikian juga jika web memiliki banyak tautan usang dan rusak. Kapan saja orang memublikasikan tautan yang salah ke situs Anda, atau gagal memperbarui tautan untuk mencerminkan perubahan di server Anda, Googlebot akan mencoba mengunduh tautan yang salah dari situs Anda.

Jika Anda ingin mencegah Googlebot agar tidak merayapi konten di situs, Anda memiliki sejumlah pilihan, termasuk menggunakan robots.txt untuk memblokir akses ke file dan direktori di server Anda.

Setelah Anda membuat file robots.txt, mungkin akan terjadi sedikit penundaan sebelum Googlebot menemukan perubahan Anda. Jika Googlebot masih merayapi konten yang telah Anda blokir di robots.txt, periksa bahwa robots.txt berada di lokasi yang tepat. Robots.txt harus berada di direktori teratas server (misalnya, www.example.com/robots.txt); menempatkan file di subdirektori tidak akan berpengaruh apa pun.

Jika Anda hanya ingin mencegah pesan kesalahan "file tidak ditemukan" dalam log server web, Anda dapat membuat file kosong dengan nama robots.txt. Jika Anda ingin mencegah Googlebot agar tidak mengikuti tautan apa pun di laman situs, Anda dapat menggunakan tag meta nofollow. Untuk mencegah Googlebot mengikuti tautan individu, tambahkan atributrel="nofollow" ke tautan itu sendiri.

Berikut adalah beberapa kiat tambahan:

1.    Uji apakah robots.txt bekerja seperti yang diharapkan. Alat uji coba robots.txt di laman URL yang Diblokirmemungkinkan Anda mengetahui secara akurat cara Googlebot menafsirkan konten file robots.txt.. Agen-pengguna Google adalah (cukup sesuai) Googlebot.

2.    Alat Ambil sebagai Google di Search Console membantu Anda memahami secara akurat cara situs dilihat oleh Googlebot. Alat ini akan sangat berguna saat memecahkan masalah dengan konten situs Anda atau kemampuan untuk dapat ditemukan di hasil penelusuran.

Pastikan situs Anda dapat dirayapi

Googlebot menemukan situs dengan mengikuti tautan dari laman ke laman. Laman Kesalahan perayapan di Search Console mencantumkan masalah apa pun yang ditemukan Googlebot saat merayapi situs. Sebaiknya tinjau kesalahan perayapan ini secara rutin guna mengidentifikasi masalah apa pun dengan situs Anda.

Jika file robots.txt bekerja sesuai harapan namun situs Anda tidak mendapatkan lalu lintas, berikut beberapa kemungkinan alasan yang menyebabkan kinerja konten Anda tidak terlalu baik dalam penelusuran.

Masalah dengan pelaku spam dan agen-pengguna lainnya

Alamat IP yang digunakan oleh Googlebot berubah dari waktu ke waktu. Cara terbaik untuk mengidentifikasi akses oleh Googlebot adalah menggunakan agen pengguna (Googlebot). Anda dapat memverifikasi bahwa bot yang mengakses server Anda adalah benar-benar Googlebot dengan menggunakan pencarian DNS terbalik.

Googlebot dan semua bot mesin telusur yang berkualitas akan mematuhi perintah dalam robots.txt, namun beberapa orang jahat dan pelaku spam tidak akan mematuhinya. Melaporkan spam ke Google.

Google memiliki beberapa agen-pengguna lainnya, termasuk Feedfetcher (agen-pengguna Feedfetcher-Google). Karena permintaan Feedfetcher berasal dari tindakan eksplisit oleh pengguna manusia yang telah menambahkan umpan keberanda Google mereka dan bukan dari perayap otomatis, Feedfetcher tidak mengikuti pedoman robots.txt. Anda dapat mencegah Feedfetcher agar tidak merayapi situs dengan mengonfigurasi server untuk menyajikan pesan status kesalahan 404, 410, atau yang lainnya ke agen-pengguna Feedfetcher-Google.

Seperti itulah pembahasan postingan kali ini yang membahas tentang googlebot, semoga tulisan saya ini bisa dipahami, dicerna, dan bisa menjadi bahan referensi yang bermanfaat bagi anda. Selain membaca tentang googlebot yang terdapat di postingan ini saya sarankan anda untuk membaca artikel saya yang lain tentang robot.txt dan panduan SEO lainnya yang sudah saya tulis di Yanuanda Site ini.