KutuUpdate - "Robots.txt", sobat udah pernah dengar kata ini? Kalo sobat seorang blogger mungkin sudah tidak asing dengan kata ini. Sebenernya robots.txt itu buat apaan sih? penting banget emangnya? Kalo sobat ga mengatur ini apa ada yang salah dengan blog sobat? Yap, sebelum Kutu Update jawab mari simak penjelasan di bawah ini.
- Istilah Robots.txt
Mungkin banyak sobat yang masih belum tau apa itu robots.txt? Oke deh, robots.txt itu adalah sebuah perintah agar mesin pencari seperti google dapat menelusuri dan tidak menelusuri halaman blog kita. Dan robots.txt ini akan meningkatkan SEO kita di mata mesin pencari.
- Bagaimana Struktur Robots.txt?
Biasanya robots.txt di blog secara default sususan robots.txt adalah seperti ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://namablogsobat/feeds/posts/default?orderby=UPDATEDGanti yang kata "namablogsobat" dengan nama URL blog sobat.
- Arti Dari Kode-Kode di Atas
User-agent: Mediapartners-Google
Arti: Robot Google Adsense merayapi blog.
Disallow:
Arti: Yang tidak diperbolehkan tidak ada.
User-agent: *
Arti: Semua robot Search Engine/mesin pencari.
Disallow: /search
Arti: Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated...
#Catatan: /search secara default tidak dilakukan perayapan oleh mesin pencari karena label bukan URL yang real menuju kepada halaman tertentu.
Allow: /
Arti: Mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.
Sitemap: http://namablogsobat/feeds/posts/default?orderby=UPDATED
Arti: Sitemap atau alamat feed blog sobat.
- Cara Mencegah Suatu Halaman yang Sobat Inginkan
Misalnya kamu mau mencegah halaman "Tentang Kami" di blog kamu, contoh alamatnya http://namablogsobat.blogspot.com/p/tentang-kami.html. Kamu tinggal masukkan URLnya seperti contoh di bawah ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/tentang-kami.html
Allow: /
Sitemap: http://namablogsobat/feeds/posts/default?orderby=UPDATED - Dimana Kamu Dapat Mengatur Robots.txt?
Untuk Blogger:
Mengatur robots.txt dengan cara masuk ke Setelan > Preferensi Penelusuran, pada Robots.txt klik Edit kemudian klik Ya, kemudian tulis kode robots.txt yang diinginkan > Simpan Perubahan.
Untuk Wordpress Self-Hosting:
Cara 1:
- Buka program Notepad sobat.
- Kemudian tulis kode robots.txt yang diinginkan.
- Simpan dengan nama robots.txt.
- Upload file tersebut ke root direktori wordpress bisa lewat Cpanel atau FTP.
Cara 2:
- login ke Cpanel > klik File Manager, klik public_html > klik Icon New File, pada kotak New File Name: beri nama file "robots.txt" (tanpa tanda petik) > klik Create New File.
- Kemudian buka file robots.txt tersebut, kemudian tulis kode robots.txt yang diinginkan. Kemudian simpan.
Jangan lupa validasi hasil pembuatan file robots.txt kamu dengan menggunakan robots.txt Checker, dan masukkan url file robots.txt kamu contoh: http://namadomainsobat.com/robots.txt pada kotak yang tersedia kemudian lihat hasilnya apakah file robots.txt kamu sudah benar-benar valid, jika masih banyak error di disana kamu akan diberi informasi dimana letak errornya.
Nah, itu dia caranya sobat. Kalo sobat tidak mengaturnya tidak masalah karena secara default blog sobat akan dirayapi mesin pencari. Ini hanya untuk meningkatkan SEO blog sobat. Ada komentar?
Sumber: blog.kangismet.net
EmoticonEmoticon