Beranda SEO Cara Membuat Robots.txt di Google Webmaster Tools
Selasa, Februari 07, 2012
A+ A-

Cara Membuat Robots.txt di Google Webmaster Tools

Kali ini saya membahas tentang cara Membuat Robots.txt di Google Webmaster Tools langsung saja , begini caranya 
  1. Sign in ke  Webmaster Tools, kemudian klik situs yang Anda inginkan.
  2. Di menu Site configuration, klik Crawler access.
  3. Klik tab Generate robots.txt .
  4. Pilih default crawler kamu .Saya menyarankan untuk Allow all robots , dan menggunakan step selanjutnya untuk memblok robot apa saja yang tidak boleh mengaksesnya direktori kita .
  5. Tentukan aturan untuk si robot ini . contoh , saya akan memblok folder1 agar tidak di crawl oleh si robot :
    1. Di Action list, Pilih Disallow.
    2. Di Robot list, Klik Googlebot.
    3. Di Files atau direktori , ketikan /folder1 .
    4. Klik Add. nah setelah klik add selesai maka kode akan otomatis akan tergenerate .
  6. Download robots.txt atau menyalin kode tadi yang sudah tergenerate ke dalam notepad / text editor lainnya, save dengan nama robots.txt . ingat namanya gak boleh salah ya “robots.txt”. Kemudian Upload file robots.txt tadi ke hosting.