Apa spider buat dalam blog? : https://inertz.com

Spider dalam blog bukan labah-labah ye. Cumanya ianya dipanggil spider atau crawler untuk mengindeks blog atau laman web kita. Benda merayap ni memang merayap dalam laman web kita. Spider juga turut merujuk kepada fail sitemap. Tanpa spider, web/blog kita mungkin tak akan dapat dipaparkan oleh enjin carian. Benda ni penting untuk SEO.

Seperti gak manusia, spider ada yang baik dan ada yang jahat. Spider yang baik macam googlebot, google adsense bot, msn, yahoo bot, feedburner. Spider yang jahat, spider yang tak biasa kita dengar ataupun spider yang tiba-tiba buat trafik kita mencanak naik.

Kebanyakan spider yang jahat kalau dia masuk dalam blog biasanya dia akan meninggalkan komen SPAM. Ada juga spider yang boleh menyebabkan server high load bagi shared hosting server.

Jadi jangan gembira sangat kalau trafik tinggi, kena teliti juga. Boleh jadi trafik itu datang dari spider saja.

Spider ni boleh dikawal dengan edit/create fail robot.txt dalam pangkal blog kita. Contoh:

User-agent: Googlebot-Image
Disallow: /

Spider yang bernama “Googlebot-Image” dihalang akses ke blog kita. Oleh itu Index carian google image tidak akan mengindeks gambar dalam blog.