Ebook Gratis Ms Office 2010

 

1. Cara Setting robots.txt Khusus di Blogger Agar SEO Friendly

Buka menu Settings » Search preferences » Crawlers and indexing » Custom robots.txt » klik Edit.

Pada pilihan Enable custom robots.txt content? pilih Yes. Selanjutnya masukkan settingan robots.txt yang aman berikut ini.

User-agent: *

Allow: /

Disallow: /search

Sitemap: https://www.blogkamu.com/sitemap.xml

Keterangan

User-agent Nama robot mesin pencari (web crawler software).

Disallow Direktori atau halaman yang TIDAK DIIZINKAN DIRAYAPI oleh user-agent.

Allow Direktori atau halaman yang DIIZINKAN DIRAYAPI oleh user-agent.

Sitemap Lokasi sitemap. Ganti dengan alamat blog kamu.

Setelah selesai, klik tombol Save changes

1.1. Mencegah Perayapan Pada URL Halaman Tertentu

Nah, jika ada halaman khusus yang tidak ingin dirayapi, kamu tinggal menambahkannya pada Disallow. Contohnya seperti ini:

User-agent: *

Allow: /

Disallow: /search

Disallow: /p/kontak-lama.html

Disallow: /2009/01/test-postingan-pertama.html

Sitemap: https://www.blogkamu.com/sitemap.xml

Untuk mengecek apakah robots.txt sudah berubah dan sama dengan settingan diatas, buka URL berikut.

https://www.blogkamu.com/robots.txt

2. Mengatur Custom Robots Header Tags Di Blogger

Masih di menu yang sama yaitu Crawlers and indexing, di bagian Custom robots header tags klik Edit. Pada pilihan Enable custom robots header tags? pilih Yes. Samakan pengaturannya dengan gambar dibawah ini.