Google mengenali sebuah situs website melalui crawling yang dilakukan oleh robotnya. Terkadang, sebuah situs web bisa kehabisan resource karena Googlebot melakukan perayapan terlalu cepat dan sering, yang menyebabkan resource CPU dan Memory terpakai sangat tinggi. Dalam artikel ini, kami akan membahas tentang apa itu Googlebot crawl rate hingga cara melakukan setting limitnya.
Apa itu Googlebot Crawl Rate
Googlebot Crawl Rate adalah tingkat kunjungan Googlebot pada suatu alamat website untuk melakukan perayapan (crawling). Hasil crawling tersebut akan dikumpulkan sebagai bahan indexing sebuah website, lalu akan ditampilkan pada hasil pencarian Google.
Proses crawling yang dilakukan oleh Googlebot ini adalah langkah awal, untuk mendapatkan informasi yang sebanyak-banyaknya dari suatu website. Nantinya hasil crawling tersebut akan ditampilkan di pencarian Google atau yang kita kenal dengan istilah Search Engine Result Page.
Googlebot crawl rate menjadi salah satu hal yang cukup penting untuk diperhatikan, terlebih jika hosting atau server Anda tidak memiliki resource yang besar. Bila tingkat kunjungannya terlalu cepat dan sering, hal ini bisa berdampak pada beban server yang lebih berat, sehingga berpengaruh pada kinerja website secara umum.
Namun sebaliknya, bila kunjungan Googlebot terlalu jarang, maka artikel baru maupun update konten yang Anda lakukan, akan membutuhkan waktu yang cenderung lebih lama untuk ditampilkan pada hasil pencarian Google (SERP).
Dalam kondisi tertentu, Anda perlu melakukan setting Googlebot crawl rate menjadi low. Contohnya, saat kunjungan Googlebot yang terlalu sering, sementara konten di website Anda tidak terlalu update. Tentu hal ini tidak terlalu dibutuhkan, apalagi saat visitor di website sedang tinggi-tingginya karena suatu event. Untuk itu pengaturan Googlebot crawl rate bisa menjadi solusinya.
Fungsi Pengaturan Crawl Googlebot
Berikut ini adalah beberapa fungsi dari dilakukannya pengaturan Googlebot crawl rate.
Meningkatkan pengalaman pengguna
Dengan melakukan pengaturan Googlebot crawl, maka penggunaan sumber daya server bisa dikontrol sesuai ketersediaan dan kebutuhan. Hal ini akan memberikan pengalaman pengguna yang lebih baik, karena kecepatan response pada server.
Mengurangi beban Server
Pengaturan crawl Googlebot dapat mengurangi beban di sisi server. Bila Googlebot mengunjungi halaman website Anda terlalu sering, maka akan menyebabkan lonjakan kebutuhan sumber daya, sehingga akan berpengaruh pada kinerja website.
Cara Membatasi Google Crawl Rate
Sebelum Anda melakukan pengaturan ini, sebaiknya Anda melakukan koordinasi terlebih dahulu dengan penyedia server yang digunakan. Hal ini bertujuan untuk memastikan penyebab limit pada server atau hosting Anda, apakah penyebab limit karena googlebot atau kemungkinan yang lainnya.
Jika sudah dipastikan bahwa Googlebot melakukan perayapan terlalu tinggi dan sering, maka solusinya Anda bisa melakukan limitasi googlebot crawl rate untuk mengurangi beban pada server atau hosting.
Untuk membatasi Google crawl rate dapat dilakukan melalui Search Console, dengan langkah sebagai berikut:
- Login ke akun Google Search Console.
- Setelah itu, kunjungi alamat https://www.google.com/webmasters/tools/settings untuk masuk ke halaman setting.
- Selanjutnya, pada bagian Crawl rate silakan dipilih pada “Limit Google’s maximum crawl rate”. Geser tanda panahnya menuju Low. Setelah itu klik Save.
Perubahan diatas akan membuat kunjungan Googlebot menjadi berkurang dari sebelumnya. Namun Anda tidak perlu khawatir, Google akan tetap mengunjungi website Anda hanya saja intensitas kunjungannya tidak sesering sebelumnya.
Apabila resource pada server atau hosting anda dinaikkan atau diupgrade, Anda dapat merubahnya kembali ke settingan Rekomendasi, agar Googlebot bisa melakukan crawl seperti sebelumnya.
Kesimpulan
Googlebot Crawl Rate adalah seberapa sering robot Google mengunjungi website Anda untuk melakukan crawling atau perayapan. Informasi ini dikumpulkan sebagai indexing dan hasilnya akan ditampilkan di halaman pencarian Google.
Aktivitas crawling tersebut memang bermanfaat pada hasil pencarian website Anda di Google, namun di beberapa kondisi seperti yang kami contohkan diatas, membuat Anda perlu melakukan setting rate crawl nya menjadi low, supaya tingkat kunjungan robot Googlenya sedikit berkurang.
Bagi Anda yang membutuhkan hosting dengan resource tinggi, Anda dapat menggunakan layanan Cloud Hosting yang memiliki resource dedicated serta cocok digunakan untuk traffik yang besar. Kunjungi halamannya untuk informasi lebih lanjut.
Demikian artikel kami tentang apa itu Googlebot Crawl Rate hingga cara setting limitnya, semoga bermanfaat.