Kadang spiderbot memang menyebalkan karena mereka menjelajah seluruh isi website kita tanpa kita minta. Kadang karena terlalu banyak konten website kita sangat mengganggu penggunaan memory server kita. Beberapa situs saya pernah down karena spiderbotĀ baidu.com punya orang cina. Mesin bot mereka terlalu banyak menjelajah di server saya sehingga akses ke database dan penggunaan memory meningkat drastis. Nah untuk mencegah hal ini anda bisa membuat sebuah file dengan nama robots.txt kemudian upload ke root folder website anda. Isi file tersebut kira-kira seperti ini:
User-agent: * Disallow: / User-agent: Googlebot Allow: /
Dengan setingan diatas maka semua spiderbot akan di blokir kecuali dari Google.
(Visited 598 times, 1 visits today)