Dasar Pengertian Robot txt Dan Pemasangan Nya Di Google Webmaster

Sambungan dari postingan sebelumnya yaitu cara mengoptimalkan Google Webmaster Tools dan kebetulan pula ada request posting dari admin blog (aduh saya lupa tuh namanya ?????) entar kalo ingat saya edit krembali siapa tuh adminnya.
Sebelum melangkah lebih jauh tentang robot txt saya sarankan dulu kepada sobat semua untuk mengetes website atau blognya apakah sudah terpasang robot txt-nya atau belum terpasang ? untuk cara mengeceknya silahkan perhatikan dan klik contoh di bawah ini
 
Klik Disini untuk cara praktis.

Apabila ada file yang keluar seperti contoh di atas berarti sudah ada,  jika keluarnya 404 error berarti web atau blog anda belum ada robot txt. Untuk pemahamannya adalah Robots.txt tidak dibuat sendiri oleh Search Engine dan dimasukkan ke server kita. Tapi jika tidak ada Robots.txt, biasanya Search Engine tidak akan meng-index seluruh directory website anda. Ok. Definisi robots txt adalah sebagai berikut:
Robots.txt protocol atau robot exclusion standard, juga dikenal sebagai Robots Exclusion Protocol, adalah sebuah sistem protokol standar yang digunakan untuk membatasi web spider atau membolehkan crawler dan segala jenis web robot untuk mengakses bagian-bagian dari sebuah website atau blog. Robots ini digunakan oleh search engine untuk mengkategorikan dan mengumpulkan data dari sebuah website atau blog. Jika ingin lebih spesifik, anda bisa menggunakan robots.txt dengan menggunakan tool di dalam Google Webmaster account anda. Caranya login ke account Google Webmaster tools atau klik disini, klik domain yang anda akan kelola, klik Tools dan klik Generate Robots.txt.
Di langkah satu pastikan anda Allow All Robots, kemudian pilih Action. Yang perlu dicatat adalah bahwa Allow itu membolehkan search engine  meng-index direktori di website anda, dan Block adalah melarangnya untuk mengindex direktori tertentu. Pilih direktori yang anda ingin Allow dan Block, save robots.txt dan ftp ke root folder anda. Apabila anda kurang mengerti silahkan tinggalkan pesan saja itu juga kalau saya bisa menjawabnya kalau tidak bisa pasti saya akan bertanya kembali sama guru saya hah ....hah...hah..
Untuk sahabat yang ingin menambahkan saya persilahkan untuk sharingnya di kotak komentar, terimakasih dan semoga bermanfaat.