hocam verdiğiniz bilgiler çok faydalı teşekkür ediyorum. peki;

User-agent: Googlebot
Allow: /
Crawl-Delay: 2

User-agent: Yandex
Allow: /
Crawl-Delay: 2

yukarıdaki Crawl-Delay: 2 anlamı ne ?

Satır 6: Crawl-Delay: 2 Kural Googlebot tarafından yok sayıldı
Satır 10: Crawl-Delay: 2 Kural Googlebot tarafından yok sayıldı

burasını da açıklarsanız sevinirim..