Halo, lagi lagi minggu ini kembali berurusan dengan mesin bodoh ini, Search Engine Bot alias Crawler alias Spider, merupakan mesin yang bertugas untuk mencari data di internet, dan memasukkannya kedalam search engine, selain itu juga mesin ini ternyata memiliki sifat yang buruk, yakni pemalas, malas untuk mengindex data yang sekiranya membuat dia menunggu lama. Dan juga memiliki kebodohan yang sering diakali oleh penjual ebook sampah di internet, dengan metoda yang terkenal seperti cloacking, yang masih juga bisa menipu mesin tersebut.
Soal menunggu, siapa sih yang betah menunggu, manusia saja tidak betah, konyolnya, mesin pun tidak betah, jika dirasa olehnya lambat untuk membuka sebuah situs, maka ditinggalkanlah situs tersebut. Tetapi terkadang, terlalu cepat diakses olehnya pun menjadi bermasalah, bandwidth terbuang terus.
Sebagai contoh, blog ini dikunjungi oleh bot 3-4 kali sehari, dan dikunjungi dalam waktu kurang dari 30 menit setelah saya menuliskan postingan ini, dalam satu bulan, bisa habis sekitar 1-3 GB bandwidth karena bot, padahal tulisan ini ngga ada penting pentingnya sama sekali, dan ga ada unsur pendidikannya sama sekali.
Tentunya anda bisa membayangkan bukan, jika situs saya ini merupakan situs institusi pendidikan, yang isinya mungkin penting untuk diakses oleh orang-orang dan juga bahkan memiliki pagerank 7, tetapi sayangnya situs tersebut sulit sekali untuk bisa diakses dengan mudah karena kekurangan bandwidth (atau manajemen bandwidth yang kurang baik?) bagaimana bisa diindex dengan mudah? dan bagaimana sebuah situs itu bisa dinilai memiliki content yang banyak karena dihambat firewall rule dimana mana?
Mau dikasih SEO jenis apa biar terindex? Topi Hitam ? Topi Putih ? atau Topi Miring ? 🙂
