Cara Setting Custom robot.txt pada Blog

Kata Andika Saputra Robots.txt merupakan filter bagi website kita, atau bisa juga kita samakan dengan satpam yang ada di depan rumah atau suatu kantor. Kita tahu saptam berguna untuk memfilter siapa saja yang boleh masuk kedalam kantor dan juga memberi arahan akan kemana tamu itu, misal ke resepsionis. Satpam juga memberi larangan agar tamu tidak pergi ke suatu tempat yang tidak semestinya, misal tidak boleh pergi ke gudang, ruang rahasia, dan lainnya. 

Intinya Robot.txt itu adalah saptam blog kita.

Tamu ini biasanya datang dari search engine salah satunya google, google juga mempunyai robot namanya google-bot. Tugasnya mencarikan sumber data yang terdapat di google webmaster, maka beruntung sekali jika blog atau website anda telah terdaftar di google webmaster. Tinggal bagaimana caranya setting atau memasang robot.txt pada blog.

Ikuti langkahnya:

1. Daftarkan url blog/website anda google webmaster

2. Add site, terletak pojok kanan atas

3. Jika sudah success registrasi klik nama blog/website anda untuk menuju ke dashboard

4. Klik Crawl, pilih robots.txt tester

5. Maka akan menghasilkan kode seperti ini

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://judin-rd.blogspot.com/sitemap.xml

6. Karena susah di copy, maka klik See live robots.txt untuk mengcopy

7.  Terakhir paste/salin kode di atas tadi di Dashboard blog-setting-search preferences-Crawlers and indexing-Custom robot.txt...klik edit...kalau sudah save so enabled.

8. Enjoyable....hehe