0
Kayıt Ol

User-agent: * Crawl-delay: 10

1

●

1.791

  • 05-01-2011, 19:59:31
    #1
    agnosi
    agnosi
    Merhaba,

    Az evvel hostgator den aldığım bir mail e göre google botların sitelerimi çok fazla yordugunu belirtmiş ve bilginiz olsun yogun google bot trafigi olan sitelere

    User-agent: *
    Crawl-delay: 10

    şeklinde robot.txt oluşturduk


    Şimdi bu durum nedir ne getirir ne götürür yorumlarmıyız.
  • 05-01-2011, 20:34:09
    #2
    agnosi
    agnosi
    MSNBot gezgininin kimi zaman sitenizin trafiğin, yoğunlaştırdığını görürseniz, MSNBot gezgininin web sitenize ne sıklıkta erişeceğini saniye cinsinden belirtmek için Robots.txt dosyasında bir gezinme gecikmesi (crawl-delay) parametresi belirtebilirsiniz.
    crawl-delay, robots.txt dosyasına yazılan saniye cinsinden ziyaret etme parametresidir.

    Bunu yapmak için, aşağıdaki sözdizimini Robots.txt dosyanıza ekleyin:
    User-agent: msnbot
    Crawl-delay: 120
    Tek tek gezgin bölümleri * bölümlerinde belirtilen ayarları geçersiz kılar. Tüm gezginler için Disallow ayarları belirttiyseniz, Robots.txt dosyasında oluşturduğunuz MSNBot bölümüne Disallow ayarları eklemeniz gerekir. Örneğin, Robots.txt dosyanız aşağıdakileri içerebilir:
    User-agent: *
    Disallow: /private/
    Bir MSNBot bölümü eklerseniz, MSNBot bölümüne herhangi bir Disallow ayarı eklemeniz gerekir. Örneğin:
    User-agent: msnbot
    Crawl-delay: 120
    Disallow: /private




    anlaşıldı sanırım...