Menghentikan Bot Mesin Pencari (Search Engine) Melalui Robots.txt

Agar situs website Anda dapat ditemukan orang lain di mesin pencari, perayap mesin pencari (biasa disebut bot atau spider) akan merayapi situs website Anda untuk mencari teks dan tautan yang diperbarui. Apabila ditemukan, mesin pencari akan memperbarui index pencarian mereka.

Beberapa kasus, bot/spider jahat terlalu banyak merayap situs website, sehingga menghabiskan resource hosting server.

Hal ini dapat diatasi dengan memblok atau menghentikan bot search engine dengan file robots.txt, agar tidak merayapi situs website.

A. User-agents mesin pencari

Aturan paling umum yang digunakan dalam file robots.txt didasarkan pada User-agents dari perayap mesin pencari.

Perayap mesin pencari menggunakan User-agents untuk mengidentifikasi diri mereka saat merayapi website. Berikut beberapa contoh:

Top 3 User-agents mesin pencari US

Googlebot
Yahoo!
Slurp bingbot

User-agents paling umum diblok

AhrefsBot
Baiduspider
Ezooms
MJ12bot
YandexBot

B. Mengizinkan mesin pencari merayapi website

Berikut cara mengatur file robots.txt dengan dua aturan sederhana.

#Aturan pertama
User-agent: Googlebot
Disallow: /nogooglebot/

#Aturan kedua
User-agent: *
Allow: /

Keterangan:

1. Aturan pertama, User-agents Googlebot (Google) bisa merayapi seluruh direktori, kecuali /nogooglebot/
2. Atura kedua, semua User-agents (*) bisa merayapi seluruh direktori. Karena diallow (Allow: /)
3. User-agents dapat Anda isi * (semua bot mesin pencari) atau diisi bot mesin pencari tertentu.

C. Menghentikan mesin pencari merayapi website

User-agent: Googlebot
Disallow: /

User-agent: *
Disallow: /

Keterangan:

1. User-agents: Googlebot tidak diizinkan merayapi seluruh direktori situs website.
2. Semua User-agents tidak diizinkan merayapi seluruh direktori

D. Membuat file robots.txt dan memasangnya

1. Buat file robots.txt didirektori website Anda.
2. Masukan rule User-agents sesuai yang Anda butuhkan, kemudian simpan
3. Setelah itu, akses http://namawebsite/robots.txt . Apabila bisa tampi, berarti pemasangannya sudah berhasil.

Demikian cara menghentikan perayapan oleh mesin pencari, semoga bermanfaat.