Cara mengatur robot.txt menjadi seo friendly

Cara mengatur robot.txt menjadi seo friendly - Robot.txt merupakan sebuah file yang terdapat dalam directory root dari suatu situs yang berguna untuk mengontrol halaman-halaman tertentu agar diindex oleh spider mesin pencari, atau untuk mengatur bagian-bagian tertentu supaya tidak diindex oleh search engine.
Robot.txt, sangat diperlukan, untuk memudahkan search engine dalam meng index sebuah halaman. Hanya saja, sangat sedikit orang yang menggunakan Robot.txt. Menurut saya, robot.txt, sangat lah penting, apalagi untuk optimasi seo. Robot. txt di gunakan apabila, kita menginginkan sebuah halaman untuk tidak di indeks oleh spider mesin pencari.
Contoh nya :

User-agent: *
Disallow: /search
Disallow: /?m=0

Keterangan untuk robot.txt diatas :
User-agent : Menandakan perintah untuk semua bot (spider mesin pencari)
Disallow :/search : Menandakan pelarangan (supaya label tidak di index)
Disallow : /?m=0 : Menandakan pelarangan (supaya url dengan parameter=0, supaya tidak diindex)

Kita juga bisa menambahkan url statis, agar tidak diindex oleh search engine, dengan memasukan kode seperti di bawah ini :
Disallow :/p

Untuk membuat robot.txt agar menjadi seo friendly, cara nya :
1. Masuk terlebih dahulu ke account blogger anda.
2. Pilih menu setelan/setting, lalu pilih sub menu preferensi penelusuran.
3. Aktifkan robot.txt, lalu masukan kode seperti dibawah :

User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Disallow: /search
Disallow: /?m=0

User-agent: *
Disallow: /search
Disallow: /?m=0


Sitemap: http://dshare33.blogspot.com/feeds/posts/default?orderby=UPDATED

Ganti url yang berwarna biru dengan url blog anda.