Selain Sitemap, robots.txt adalah bagian penting di salam sebuah struktur web. nah saya akan membahas tentang Robots.txt, Robots.txt adalah Sebuah file yang di gunakan untuk membatasi akses robot mesin pencari yang sedang menjelajahi situs web . Sebelum mereka mengakses halaman web, mereka memeriksa untuk melihat apakah sebuah file robots.txt ada / tidak, dan di dalam robots.txt ada perintah yang mencegah mereka mengakses halaman tertentu.
Kita memerlukan robots.txt agar robot-robot itu tidak mengindex halaman yang tidak kita inginkan, wah bisa kacau kalau sampai ada sesuatu yang rahasia ke index di mesin pencari dan di temukan orang lain. Dan jika kita ingin semua content di web kita di index oleh mesin pencari kita tidak membutuhkan robots.txt.
Meskipun Google / Mesin pencari lainnya tidak akan meng-crawl atau mengindeks konten halaman yang diblokir oleh robots.txt, masih mungkin URL kita di index, hal ini terjadi karena URL kita di temukan di situs lain. Akibatnya, URL kita berpotensi menjadi informasi publik & dapat muncul dalam hasil pencarian. sedangkan cara Membuat Robots.txt di Google Webmaster Tools telah saya post di artikel sebelumnya.
mungkin itu dari saya ,...maaf jika kiranya kurang jelas...
mungkin itu dari saya ,...maaf jika kiranya kurang jelas...
Posting Komentar