Pada kesempatan kali ini saya akan menguraikan bagaimana cara mengsetting dan mengaktifkan robot.txt pada blog.
Kalo ada yang belum ngerti apa sih robot.txt itu ? baca selengkapnya dibawah ini, mudah anda cepat mengerti.
Robots Exclusion Protocol atau robots.txt protokol, adalah sebuah konvensi untuk mencegah web crawler bekerja sama dengan robot web lain untuk mengakses semua atau bagian dari sebuah website yang jika dilihat secara terbuka.
Robots.txt protokol sering digunakan dimesin pencari untuk mengkategorikan dan mengarsip situs web, atau webmaste, serta mengkoreksi Source code. Dari beberapa artikel yang pernah saya pelajari, penggunanan robot.txt ini sangat berguna untuk mendongkrak SEO blog kita dan juga harus berhati dalam mengsettingnya, karena bisa-bisa artikel diabaikan oleh mesin pencari.
Untuk lebih jelas, mari ikuti langkah-langkahnya :
1. Login ke blogger dengan akun blogger anda.
2. Klik setelan > Preferensi penelusuran / Search preferences.
 |
| laman Perayap dan Pengindeksan blog |
3. Pada laman perayap dan pengindeksan, pilih robot.txt dan klik format Edit, untuk mengedit
 |
| form untuk mengedit robot.txt pada blog |
4. Dan masukkan perintah dibawah ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://media-kita16.blogspot.co.id/feeds/posts/default?orderby=UPDATED
Setelah anda memasukan perintah diatas, Sekarang ganti url http://media-kita16.blogspot.co.id dengan url blog anda.
Catatan :
- Kelompok baris pertama merupakan informasi user agent milik google menandakan bahwa blog ini adalah partner dari google, hal ini memudahkan bagi anda yang ingin menggunakan jasa google adsense agar iklan yang nantinya ditampilkan relevan dengan isi blog anda, juga memberitahukan bahwa blog kita bisa diakses melalui mesin pencari.
- Kelompok baris kedua adalah informasi untuk semua mesin crawler search engine. Disana dituliskan disallow:/search yag menandakan semua robot mesin pencari tidak boleh mengindeks page label. yang ini berguna untuk menegah duplikasi artikel yang sangat tidak disukai oleh google.
- Kelompok baris ketiga merupakan sitemap yang berfungsi memudahkan mesin pencari mengindeks blog anda
- Tanda "/" adalah tanda home page anda jadi jangan hanya meletakkan tanda ini pada kolom disallow karena berakibat mesin pencari tidak bisa mengindex home anda.
5. Klik simpan perubahan.
Setelah mengikuti langkah-langkah diatas, Anda melakukan tahap yang kedua yaitu mengedit Robot header Tags.
Adapun langkah-langkah pengeditan robot header tags sebagai berikut :
- Login ke blogger dengan akun blogger anda.
- Klik setelan > Preferensi penelusuran / Search preferences.
- Dibagian paling bawah ada menu Custom robots header tags. Klik edit. Maka akan terlihat form seperti dibawah ini:
 |
| laman editan robot tags khusus pada blog |
- Klik centang seperti gambar diatas, maka proses pengeditan akan selesai.
- Kemudian klik Simpan Perubahan
Dalam hal ini saya menyarankan untuk berhati - hati dalam pengeditannya, apabila bila salah blog anda akan diabaikan oleh mesin pencari. Terima kasih