User-agent: * Crawl-delay: 10

agnosi · 1 05-01-2011, 19:59:31

Merhaba,

Az evvel hostgator den aldığım bir mail e göre google botların sitelerimi çok fazla yordugunu belirtmiş ve bilginiz olsun yogun google bot trafigi olan sitelere

User-agent: *
Crawl-delay: 10

şeklinde robot.txt oluşturduk

Şimdi bu durum nedir ne getirir ne götürür yorumlarmıyız.

agnosi · 2 05-01-2011, 20:34:09

MSNBot gezgininin kimi zaman trafiği yoğunlaştırdığını görürseniz, MSNBot gezgininin web sitenize ne sıklıkta erişeceğini saniye cinsinden belirtmek için Robots.txt dosyasında bir gezinme gecikmesi (crawl-delay) parametresi belirtebilirsiniz. Bunu yapmak için, aşağıdaki sözdizimini Robots.txt dosyanıza ekleyin:
User-agent: msnbot
Crawl-delay: 120
Tek tek gezgin bölümleri * bölümlerinde belirtilen ayarları geçersiz kılar. Tüm gezginler için Disallow ayarları belirttiyseniz, Robots.txt dosyasında oluşturduğunuz MSNBot bölümüne Disallow ayarları eklemeniz gerekir. Örneğin, Robots.txt dosyanız aşağıdakileri içerebilir:
User-agent: *
Disallow: /private/
Bir MSNBot bölümü eklerseniz, MSNBot bölümüne herhangi bir Disallow ayarı eklemeniz gerekir. Örneğin:
User-agent: msnbot
Crawl-delay: 120
Disallow: /private

anlaşıldı sanırım...

Seçenekler
Yazdırılabilir şekli göster Sayfayı E-Mail olarak gönder