Cara mencegah serangan spiderbot

Kadang spiderbot memang menyebalkan karena mereka menjelajah seluruh isi website kita tanpa kita minta. Kadang karena terlalu banyak konten website kita sangat mengganggu penggunaan memory server kita. Beberapa situs saya pernah down karena spiderbotĀ baidu.com punya orang cina. Mesin bot mereka terlalu banyak menjelajah di server saya sehingga akses ke database dan penggunaan memory meningkat drastis. Nah untuk mencegah hal ini anda bisa membuat sebuah file dengan nama robots.txt kemudian upload ke root folder website anda. Isi file tersebut kira-kira seperti ini:

User-agent: * 
Disallow: /

User-agent: Googlebot 
Allow: /

Dengan setingan diatas maka semua spiderbot akan di blokir kecuali dari Google.

(Visited 598 times, 1 visits today)

Related Posts

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *

Situs ini menggunakan Akismet untuk mengurangi spam. Pelajari bagaimana data komentar Anda diproses.

WhatsApp chat