Robots.txt hakkında daha önceden yazılarım mevcuttu, artık Basit SEO kısmında robots.txt dosyasını bilmeyen yoktur diye umuyorum. İşi biraz daha detaylandırırsak eğer farklı parametrelerde mevcut. Bu yazımda “Crawl-delay” Crawl-delay” parametresini işleyeceğim. Son zamanlarda bir kaç projemde denediğim ve çalıştığını kendi gözlemlerimle izlediğim kolay , toptan bir çözüm olarak görülebilecek bir durum.

Robots.txt Crawl-delay Parametresi Nedir
Daha doğrusu Crawl-delay nedir ? Crawl-delay sitenin derinliğine botun ne kadar süre inip , ne kadar inmemesine, ne kadarını tarayıp taramamasına karar verdirebildiğimiz bir parametre. Nasıl mı ? Şöyle ki ; www.seogaste.com Crawl-delay = 1 ‘e 1 saniye kadar tarayabildiğini tara anlamına gelmektedir., bir linke tıklayıp geldiğimiz süre 2 saniye sürüyorsa taranmayacaktır ve bot siteyi terk edecektir. 1 dersek genelde sadece anasayfayı tarayacaktır. Bu durum bizlere farklı yerlerde lazım olabilir. Bu kendi yaratıcığınıza kalmış bir durum. Örneğin sunucu ile ilgili devamlı sorunlar yaşıyor ve bu botun sitenize kötü puanlar vermesine sebebiyet veriyorsa 7 yaparak 7 saniyede taradın taradın taramadıgın zaman çık git diyebiliriz, tabi geçici bir süre çünkü bu durumun negatif etkileri olabilir. Mesela, sunucunuz saçma sapan bir gün 7 saniyede bütün siteyi bir gün 15 saniyede bütün siteyi tarayırsa bot her geldiğinde farklı sayfaları indexleyecektir ve bu sorun doğuracaktır. çok dikkatlice kullanmak gerekli.

Örnek Kullanım :

robots.txt with Crawl-delay
User-agent: Googlebot
Crawl-delay: 20

User-agent: Slurp
Crawl-delay: 20

User-Agent: msnbot
Crawl-Delay: 20

Google,Slurp,msnbot için siteyi 20. saniyeye kadar tara emri veriyoruz.

Kaynak : Crawl-Delay Nedir