Robots.txt Crawl-delay Nedir

Robots.txt hakkında daha önceden yazılarım mevcuttu, artık Basit SEO kısmında robots.txt dosyasını bilmeyen yoktur diye umuyorum. İşi biraz daha detaylandırırsak eğer farklı parametrelerde mevcut. Bu yazımda “Crawl-delay” Crawl-delay” parametresini işleyeceğim. Son zamanlarda bir kaç projemde denediğim ve çalıştığını kendi gözlemlerimle izlediğim kolay , toptan bir çözüm olarak görülebilecek bir durum.

Robots.txt Crawl-delay Parametresi Nedir
Daha doğrusu Crawl-delay nedir ? Crawl-delay sitenin derinliğine botun ne kadar süre inip , ne kadar inmemesine, ne kadarını tarayıp taramamasına karar verdirebildiğimiz bir parametre. Nasıl mı ? Şöyle ki ; www.seogaste.com Crawl-delay = 1 ‘e 1 saniye kadar tarayabildiğini tara anlamına gelmektedir., bir linke tıklayıp geldiğimiz süre 2 saniye sürüyorsa taranmayacaktır ve bot siteyi terk edecektir. 1 dersek genelde sadece anasayfayı tarayacaktır. Bu durum bizlere farklı yerlerde lazım olabilir. Bu kendi yaratıcığınıza kalmış bir durum. Örneğin sunucu ile ilgili devamlı sorunlar yaşıyor ve bu botun sitenize kötü puanlar vermesine sebebiyet veriyorsa 7 yaparak 7 saniyede taradın taradın taramadıgın zaman çık git diyebiliriz, tabi geçici bir süre çünkü bu durumun negatif etkileri olabilir. Mesela, sunucunuz saçma sapan bir gün 7 saniyede bütün siteyi bir gün 15 saniyede bütün siteyi tarayırsa bot her geldiğinde farklı sayfaları indexleyecektir ve bu sorun doğuracaktır. çok dikkatlice kullanmak gerekli.

Örnek Kullanım :

robots.txt with Crawl-delay
User-agent: Googlebot
Crawl-delay: 20

User-agent: Slurp
Crawl-delay: 20

User-Agent: msnbot
Crawl-Delay: 20

Google,Slurp,msnbot için siteyi 20. saniyeye kadar tara emri veriyoruz.

Kaynak : Crawl-Delay Nedir

Teşekkürler güzel bilgi için, ancak tam mansıyla hakim olmadan yaklaşmamak lazım

Aynen öyle hocam, herhangi bir sunucu gecikmesinde bütün site uçadabilir yani

User-agent: *
Crawl-Delay: 20

hocam bende robot.txt dosyasına kendiliğinden düşüyor bu kod.o zaman da google webmasterde (Mülkünüzde ciddi düzeyde sağlık sorunları bulundu) uyaısı cıkıyor.
ne kadar güncellesemde Crawl-Delay kodunu çikarsamda yeniden kendiliğinden oluşturuyor.lütfen yardım edin.sitemin hiti aniden düştü bende kaç gündür hitin düşmesinin sebebini arıyorum.dün gördüm google webmasterde hatayı

kullandığın bir eklenti kendiliğinden oluşturuyor olabilir, oraları kontrol etmelisin.

Hocam ben host firmasından şubheliyim.eklentiler hep kullandığım eklentiler zaten.

Yanlış bilgi verilmiş doğrusunu paylaşıyorum:


Crawl-delay değeri, botların sitenizi tarama hızını kontrol etmek için kullanılır. Bu değerin anlamı:

• Crawl-delay: 5 → Bot, her bir istek (sayfa talebi) arasındaki bekleme süresinin 5 saniye olması gerektiğini belirler. Yani:
  • Bot her sayfa taradıktan sonra 5 saniye bekler ve ardından bir sonraki sayfayı taramaya başlar.
  • Bu, tarama hızını sınırlandırarak sunucunuzun aşırı yüklenmesini engellemeye yardımcı olur.

Örnek Senaryo:

• Bir bot bir sayfa taradığında, 5 saniye bekler ve sonrasında diğer sayfayı taramak için yeni bir istek gönderir. Bu işlem her sayfa için geçerlidir.

Yanlış Anlamalar:

• Crawl-delay bir "sayfa" veya "site" tarama süresi değil, her sayfa arasındaki bekleme süresidir. Bu değer, botların aşırı yük yaratmadan tarama yapabilmesi için önemli bir kısıtlamadır.

Etkisi:

• Eğer 5 saniye gibi bir değer belirlerseniz, botlar her sayfa için 5 saniye bekleyecek ve tarama sıklığı yavaşlayacaktır. Bu, sunucunuzun yükünü azaltabilir ancak sitenizin indekslenme süresi uzayabilir.