• Translate

1/18/2015

Cara Setting Custom robots.txt dan header tags

Tutorial Blogspot |

Advertisement

Tutorial Cara Setting Custom Robots.txt dan Header Tags | Para Blogger sudah tidak asing lagi dengan robots.txt yang ada pada blogspot, namun banyak juga sobat blogger yang tidak tahu cara setting robots.txt yang benar dan baik agar postingan cepat terindex. dan apabila kalian mencari di search engine seperti yahoo atau google banyak sekali cara settingan robots.txt yang kadang membingungkan antara satu blog dengan blog lain yang menulis tentang robots.txt ini.

Nah hari ini saya akan menulis robot.txt yang menurut saya simple tapi bermamfaat banyak.
ikuti langkah-langkah dibawah ini :

robots.txt alltutorials.info.jpg

1. Login ke Blogger.com
2. pilih menu setting → Search Preference


3. cari menu Crawlers and indexing


Custom robots.txt alltutorials.info

4. Tuliskan pada kotak kosong dengan text berikut 
    nb. jangan lupa centang yes pada Enable custom robots.txt content?


robot.txt yang baik dan benar
Silahkan copas kode yang ada di screen shoot dibawah ini dan letakkan di custom robots.txt blog sobat.
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow:
Allow: /

Sitemap: http://www.alltutorials.info/feeds/posts/default?orderby=UPDATED

Sitemap: http://www.alltutorials.info/atom.xml?redirect=false&start-index=1&max-results=500
   nb. ganti http://www.alltutorials.info dengan link blog sobat blogger.

5. klik save, selesai.

Sekarang robots.txt sobat sudah selesai dan tunggu dalam 1 sampai 2 hari biarkan robots.txt sobat blogger bekerja dengan baik.

Nah untuk Custom robots header tags, sobat blogger juga bisa mengaktifkannya atau tidak. kalau saya sendiri lebih memilih untuk mengaktifkannya dengan tujuan untuk menginformasikan mesin pencari untuk mengindex semua isinya tetapi tetap tidak membolehkan User-agent Open Directory Project untuk mengcrawl semua isi blog dan juga tidak membolehkan untuk mengindex arsip blog. Dan beberapa gambar yang dimuat diblog anda dengan settingan dibawah tidak akan diindex. 

Silahkan beri tanda Checklist pada kotak yang sudah saya beri tanda lingkaran merah dibawah ini


custom robots header tags

Nah saya rasa itu saja yang bisa saya sampaikan bagaimana cara setting custom robots.txt dan header tags yang baik.
Semoga bermanfaat.

Disqus
Blogger
Comment
How to style text in Disqus comments Top Disqus Commentators
  • To write a bold letter please use <strong></strong> or <b></b>.
  • To write a italic letter please use <em></em> or <i></i>.
  • To write a underline letter please use <u></u>.
  • To write a strikethrought letter please use <strike></strike>.
  • To write HTML code, please use <code></code> or <pre></pre> or <pre><code></code></pre>, and please parse the code in the parser box below.
Show Parser Box

2 comments Add Comment

oke terimakasih ya gan, saya coba aktifkan robots txt. kebetulan blom saya aktipkan ini gan.

Reply

ok gan sama-sama, silahkan dicoba gan.. :-)

Reply

Comments not appropriate topic will sign SPAM.