Rumahweb's News, Article, and Tutorial of Web Development

Cara Membatasi Rate Crawl Google-bot

Terkadang pada layanan shared hosting sering ditemui website yang mengalami limit resource, kendala ini ada beberapa penyebabnya untuk salah satunya adalah proses crawl google-bot yang terlalu sering. Bahkan proses crawl google-bot yang terlalu sering bisa menyebabkan bandwith hosting terpakai habis karena google-bot akan melakukan crawling seluruh bagian pada website termasuk gambar, dan halamannya.

Untuk menghindari resiko diatas, maka lebih baik dilakukan pembatasan crawl rate dari google bot tersebut. Pembatasan crawl rate bisa dilakukan dari halaman webmaster google dimana website didaftarkan.

Syarat yang harus sudah dilakukan adalah pendaftaran website ke google webmasternya, apabila belum bisa gunakan panduan berikut ini http://www.rumahweb.com/journal/menambahkan-situs-website-di-google-webmaster.htm

Setelah pendaftaran berhasil, masuk pada halaman dashboard website atau klik nama website yang sudah didaftarkan kemudian klik tanda gear (setting) > site settings.

Lakukan perubahan pada bagian “Crawl rate” dan ubah ke “Limit Google’s maximum crawl rate” setelah itu akan muncul meter limit dan geser ke “low” dan klik tombol “save”, bisa dilihat screenshot berikut :

webmastergoogle

Perubahan crawl rate menjadi low tidak terlalu berdampak banyak pada proses index website di google, proses index tetap akan berlangsung saat website update.

Semoga bisa membantu!

Tinggalkan Komentar

Afiandhi Risky

Blog Competition