tutorial Setting Robots.txt di Blog Blogger

Rabu, 20 Februari 2013 | komentar


ada dashboard Blog platform Blogspot saat ini, Blogger telah mengizinkan dilakukan custom file robots.txt atau membuat file robots.txt khusus. Hal ini sangat bermanfaat karena kita sekarang dapat mengatur visibility dari semua posting kita di mesin pencari. Maksudnya, kita kini dapat authorisasi untuk mengatur artikel tertentu untuk tidak terindeks (atau pun sebaliknya) oleh mesin pencari.
Secara default, setiap blog platform Blogger mempunyai robots.txt seperti di bawah ini :
Pada file robots.txt ada ada baris 'Disallow: /search' seperti terlihat ini :
User-agent : Mediapartners-Google
Disallow :

User-agent : *
Disallow : /search
Allow : /

Sitemap : http://website-download.blogspot.com/feeds/posts/default?orderby=UPDATED

Penjelasannya :

Mediapartners-Google

Mediapartners-Google adalah robot dari Google Adsense, dan biarkan seperti defaultnya karena jika Anda salah setting, maka iklan yang ditayangkan tidak akan menyesuaikan dengan content website Anda. 

Tanda (*)

Tanda bintang ini Artinya untuk semua robot.

Disallow: /search

Pada konfigurasi defaultnya jelas terlihat bahwa label-label untuk semua artikel blog kita sudah di-setting untuk TIDAK terindeks dengan dituliskannya :
  • Disallow: /search.
Perlu di ingat bahwa tanda garis miring (/) di ibaratkan sebagai homepage Anda,
Jadi misalnya Anda ingin supaya label terindeks jangan hanya mengisi dengan garis miring seperti ini :
  • Disallow: /
karena itu sama saja Anda tidak memperbolehkan robot menelusuri blog Anda.

Semua artikel dan label terindeks mesin pencari

Dan sebaliknya jika semua isi blog ingin dilacak oleh mesin pencari, maka menjadi seperti di bawah ini :
User-agent : Mediapartners-Google
Disallow :

User-agent : *
Disallow :
Allow : /

Sitemap: 
http://blogongaul.blogspot.com/feeds/posts/default?orderby=updated
Dengan konfigurasi seperti di atas, semua artikel dan label akan terindeks oleh mesin pencari Google dan mesin pencari lainnya.

Memblok halaman tertentu

Untuk memblok robot di halaman tertentu (saya ambil contoh halaman Ihwal saya) Anda cukup menulis seperti berikut :
User-agent : Mediapartners-Google
Disallow :

User-agent : *
Disallow : /p/ihwal.html
Allow : /

Sitemap : http://www.example.com/feeds/posts/default?orderby=updated

Menanggulangi Masalah Paginasi

Untuk solusi masalah paginasi yang muncul di blogspot setelah kita menghapus Disallow: /search maka kita bisa menggunakan konfigurasi seperti berikut untuk memblok halaman paginasi :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://blogongaul.blogspot.com/feeds/posts/default?orderby=updated

Setelah mengubahnya pastikan semuanya sesuai seperti apa yang kita inginkan dengan mengunjungi
Ganti semua URL contoh di atas http://blogongaul.blogspot.com dengan URL blog blogger Anda.
Perhatian:
Gunakan dengan hati-hati. Jika salah menggunakan fitur ini, blog Anda bisa diacuhkan oleh mesin pencari. Jika Anda belum mengerti benar apa yang akan dilakukan, maka sebaiknya abaikan saja file robot.txt.
Share this article :

Posting Komentar

jangan berkomentar spam ya,,

 
Support : Creating Website | Johny Template | Mas Template
Copyright © 2011. blo'on ngeblog - All Rights Reserved
Template Created by Creating Website Published by Mas Template
Proudly powered by Blogger