Robots.txt : Definisi, Fungsi dan Cara Membuatnya

Saat Anda melakukan optimasi pada sebuah website, file robots.txt adalah salah satu faktor yang perlu diperhatikan. Beberapa rayapan bot ke website diperlukan, terutama bot yang berhubungan dengan mesin pencari.

Tentu, tujuan robots txt tidak lain adalah agar website lebih mudah ditemukan di mesin pencari, seperti Google atau Bing. Disinilah peran file robots.txt yang sangat pentung, untuk mengijinkan atau menolak crawl yang dilakukan oleh search engine.

Pada panduan ini, kami akan berbagi informasi tentang apa itu robots txt dan apa fungsinya pada website. Berikut informasi selengkapnya.

Apa itu Robots.txt?

Sebelum membahas lebih jauh tentang file robots.txt, mari kita ketahui dulu apa itu file robots.txt. Robots.txt adalah sebuah file yang berisikan instruksi terhadap bot yang akan melakukan proses crawl ke sebuah website.

Melalui file inilah instruksi untuk setiap bot dilakukan, seperti apakah bot diizinkan untuk melakukan crawl ke seluruh laman website, laman tertentu atau bahkan tidak mengizinkan bot melakukan crawl ke website Anda. File ini biasanya ditempatkan di direktori root situs web dan dapat diakses melalui alamat URL situs web seperti namadomainanda/robots.txt.

Perlu diingat bahwa file robots.txt bukanlah cara yang efektif untuk menjaga informasi situs web tetap secure atau aman. File robots.txt hanya mengatur akses robot mesin pencari, sementara pengguna dan pengunjung situs web masih dapat mengakses halaman yang tidak diindeks jika mereka tahu URL-nya.

Fungsi Robots.txt

Sesuai dengan penjelasan sebelumnya, fungsi utama robots.txt adalah untuk mengatur instruksi setiap bot yang akan melakukan crawl di website. Selain itu berikut beberapa fungsi dari robots.txt

• Membatasi akses crawl bot ke website, sehingga membuat load server tetap terjaga.
• Mencegah bot dari mesin pencari melakukan crawling duplicate content.
• Menetukan laman apa saja yang diizinkan untuk di lakukan crawl.

Cara membuat Robots.txt

Sebelum Anda membuat file Robots.txt, Anda perlu mengetahui dahulu beberapa istilah yang sering digunakan dalam mebuat file robots.txt, yaitu :

• User Agent
  User agent digunakan untuk mendeskripsikan bot yang diizinkan untuk melakukan crawl di website anda. Contoh user agent yaitu Googlebot.
• Allow
  Instruksi ini berfungsi untuk mengizinkan user agent melakukan crawl di website anda.
• Disallow
  Instruksi ini digunakan untuk tidak mengizinkan user agent melakukan crawl di website anda.
• Sitemap
  Instruksi ini untuk menginformasikan lokasi sitemap pada website anda. Hal tersebut bertujuan agar user agent dapat melakukan crawl dari informasi di sitemap.

Untuk menambahkan file robots.txt, silahkan Anda buat dahulu file robots.txt. Kemudian edit file dengan text editor seperti notepad. Kemudian isikan instruksi robots.txt yang akan digunakan. Contohnya sebagai berikut;

User-agent: Googlebot
Allow: /
Disallow: /kontak/

Dari instruksi diatas, maka robots.txt akan mengizinkan bot dari Google search yaitu Googlebot melakukan crawl data di seluruh website, kecuali data di folder kontak.

Bagi pengguna CMS WordPress, banyak developer menggunakan script berikut ini:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://namadomainanda.com/sitemap.xml

Untuk sitemap, silahkan disesuaikan dengan URL sitemap yang Anda buat.

Setelah file robots.txt dibuat, selanjutnya upload file tersebut ke folder website anda. Untuk upload bisa dilakukan dengan menggunakan FTP. Untuk langkahnya bisa klik disini.

Setelah file diupload, anda bisa memeriksanya dengan mengakses url namadomain/robots.txt. Apabila menampilkan text yang sesuai dengan instruksi yang dituliskan, maka langkah upload sudah selesai.

Cara Cek Robots.txt dari GSC

Setelah file robots.txt dibuat dan diupload, saatnya melakukan ujicoba script melalui tools Google Search Console (GSC). Langkah pertama, silahkan login dahulu di akun GSC yang digunakan. Apabila domain belum ditambahkan, silahkan ditambahkan dahulu dengan mengikuti panduan di link ini.

Setelah itu silahkan akses url test robots.txt di sini. Apabila file robots.txt sudah ada, maka akan muncul instruksi sesuai dengan file robots.txt di website, dan untuk melakukan test, bisa klik button ujicoba di bagian bawah.

Apabila hasil yang ditampilkan sesuai dengan instruksi, maka file robots.txt sudah dapat berjalan sesuai dengan instruksinya.

Demikian penjelasan tentang apa itu robots.txt, semoga dapat menambah informasi anda dan membantu dalam pengelolaan website anda.