Merhaba arkadaşlar son bir kaç gündür siteme cuil ile ilgili hiç bir optimizasyon yapmama rağmen hergün , her saat 15-16 cuil bot sitede tarama yapıyorlar .
Merak ettiğim herkesde bu durum aynı mı ? cuil botlarında artış gösteren siteleriniz varmı ?
Cuil
1
●313
- 27-05-2010, 09:27:13
Kimlik doğrulama veya yönetimden onay bekliyor.bana çok geliyor cuil botları eğer böyle devam ederse yasaklayacağım robotun gelmesini. msnbot bi ara kafayı yemişti yaklaşık 30 tane msnbotu sayfadan sayfaya dolaşıp serverın yükünü 3-4 lere çıkarmaya başlamıştı.
User-agent: msnbot
Crawl-delay: 60
yaparak kurtuldum bing botlarından. eğer sunucu yükünü artırırsa yasaklanabilir.
User-agent: twiceler
Disallow: /
