MSNBot gezgininin kimi zaman sitenizin trafiğin, yoğunlaştırdığını görürseniz, MSNBot gezgininin web sitenize ne sıklıkta erişeceğini saniye cinsinden belirtmek için Robots.txt dosyasında bir gezinme gecikmesi (crawl-delay) parametresi belirtebilirsiniz.
crawl-delay, robots.txt dosyasına yazılan saniye cinsinden ziyaret etme parametresidir.

Bunu yapmak için, aşağıdaki sözdizimini Robots.txt dosyanıza ekleyin:
User-agent: msnbot
Crawl-delay: 120
Tek tek gezgin bölümleri * bölümlerinde belirtilen ayarları geçersiz kılar. Tüm gezginler için Disallow ayarları belirttiyseniz, Robots.txt dosyasında oluşturduğunuz MSNBot bölümüne Disallow ayarları eklemeniz gerekir. Örneğin, Robots.txt dosyanız aşağıdakileri içerebilir:
User-agent: *
Disallow: /private/
Bir MSNBot bölümü eklerseniz, MSNBot bölümüne herhangi bir Disallow ayarı eklemeniz gerekir. Örneğin:
User-agent: msnbot
Crawl-delay: 120
Disallow: /private




anlaşıldı sanırım...