bana çok geliyor cuil botları eğer böyle devam ederse yasaklayacağım robotun gelmesini. msnbot bi ara kafayı yemişti yaklaşık 30 tane msnbotu sayfadan sayfaya dolaşıp serverın yükünü 3-4 lere çıkarmaya başlamıştı.

User-agent: msnbot
Crawl-delay: 60

yaparak kurtuldum bing botlarından. eğer sunucu yükünü artırırsa yasaklanabilir.

User-agent: twiceler
Disallow: /