Seperti gak manusia, spider ada yang baik dan ada yang jahat. Spider yang baik macam googlebot, google adsense bot, msn, yahoo bot, feedburner. Spider yang jahat, spider yang tak biasa kita dengar ataupun spider yang tiba-tiba buat trafik kita mencanak naik.
Kebanyakan spider yang jahat kalau dia masuk dalam blog biasanya dia akan meninggalkan komen SPAM. Ada juga spider yang boleh menyebabkan server high load bagi shared hosting server.
Jadi jangan gembira sangat kalau trafik tinggi, kena teliti juga. Boleh jadi trafik itu datang dari spider saja.
Spider ni boleh dikawal dengan edit/create fail robot.txt dalam pangkal blog kita. Contoh:
User-agent: Googlebot-Image
Disallow: /Spider yang bernama “Googlebot-Image” dihalang akses ke blog kita. Oleh itu Index carian google image tidak akan mengindeks gambar dalam blog.
fakta pasal tenet lagi
bile ku nak khtaam baca semua ni
Slow2. Lama-lama khatam la juga tu kan. Ambik sini sikit, sana sikit.
ko mmg otai la bro…
Tak otai pun. Dapat pun dari pembacaan gak. Jadi aku kongsi la apa aku tau sikit2.
nakal sungguh spider jahat ni! huhu. Papepun benda spider jahat macam ni kita kena aware.
I found this article useful in a paper I am writing at university. Hopefully, I get an A+ now!
Thanks
Bernice Franklin
UGG Boots