Merhaba arkadaşlar son bir kaç gündür siteme cuil ile ilgili hiç bir optimizasyon yapmama rağmen hergün , her saat 15-16 cuil bot sitede tarama yapıyorlar .
Merak ettiğim herkesde bu durum aynı mı ? cuil botlarında artış gösteren siteleriniz varmı ?
Cuil
1
●313
- 27-05-2010, 09:27:13bana çok geliyor cuil botları eğer böyle devam ederse yasaklayacağım robotun gelmesini. msnbot bi ara kafayı yemişti yaklaşık 30 tane msnbotu sayfadan sayfaya dolaşıp serverın yükünü 3-4 lere çıkarmaya başlamıştı.
User-agent: msnbot
Crawl-delay: 60
yaparak kurtuldum bing botlarından. eğer sunucu yükünü artırırsa yasaklanabilir.
User-agent: twiceler
Disallow: /
