Fahami robots.txt, Pengertian, Fungsi, Contoh, & Pengaruh Untuk SEO
Laber's, mungkin banyak dari kamu yang belum begitu paham
betul tentang robots.txt, padahal ini punya pengaruh besar banget buat SEO,
lho. Jadi, intinya, robots.txt itu tuh bikin pembatasan buat indexing halaman
dan ngasih antisipasi biar gak ada konten yang duplikat.
Mengenal robots.txt
ayo kita gali lebih dalam soal robots.txt nih! Yuk, cari
tahu lebih banyak lagi!
Pengertian
singkatnya, robots.txt itu adalah file teks (ekstensi .txt)
yang sebaiknya ada di setiap situs web yang udah didaftarkan ke mesin pencari
kaya Google, Yahoo, sama Bing. Jadi, robots.txt ini punya kaitan erat sama SEO,
karena kita bisa ngatur halaman mana aja yang bakal di-crawl sama mesin
pencari.
Biasanya, file ini diletakkan di path /robots.txt. Misalnya,
nih, https://www.alvelab.com/robots.txt.
Fungsi
jadi robots.txt tuh berfungsi buat ngontrol dan ngatur
halaman atau direktori yang boleh tampil atau diindex sama mesin pencari.
Gampangnya, kamu bisa atur halaman mana yang boleh diindex
mesin pencari, dan yang mana yang nggak boleh lewat robots.txt. Ini beberapa
fungsi utamanya, nih:
- Ngebatasin aktivitas robot.
- Ngontrol gerak-gerik robot.
- Bisa kustomisasi penempatan sitemap.
- Ngeblokir halaman yang nggak pengen diindex.
- Hindarin duplikat konten waktu diindex mesin pencari.
- Ngontrol mesin pencari, kayak Google, buat gimana cara masuk ke website yang kamu kelola.
Contoh Dan Penjelasan
Coba deh tengok contoh kode robots.txt di bawah ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Disallow: /search
Sitemap: https://www.alvelab.com/sitemap.xml
Penjelasan:
User-agent: Mediapartners-Google
Artinya, blog ini jadi salah satu partner dari Google. Jadi,
kalo di blog ini ada iklan AdSense, itu bakal bantu banget buat nampilin konten
iklan yang sesuai sama topik blog atau artikel yang dibuat.
Disallow:
artinya ada yang nggak boleh dirayapin sama mesin pencari
User-agent: *
Artinya semua robot mesin pencari, kayak Google, Bing,
Yahoo, dan lainnya, bakal ngikutin perintah yang ada di bawahnya.
Allow: /
intinya, path directory root alias halaman utama boleh dirayapin
dan diindeks sama mesin pencari.
Disallow: /search
Artinya semua halaman yang terdapat di path /search, engga
boleh dirayapin oleh semua mesin mencari.
Sitemap: https://www.alvelab.com/sitemap.xml
Letak peta situs khusus buat robot search engine.
Pengaruh Untuk SEO
Robots.txt tuh punya peran super penting buat SEO, khususnya buat ngasih instruksi sesuai aturan di file robots.txt buat robot mesin pencari. Jadi, dengan begitu, halaman web kamu bakal lebih cepet diindeks. Makanya, file robots.txt jadi kayak keharusan buat setiap situs web di internet.
