Arkadaşlar merhaba;

Son zamanlarda sanıyorum Yandex ve Bing botların çok fazla siteme gelip siteyi yavaşlattıklarını gözlemiyorum. Bu yüzden Crawl-delay parametresi ile onları yavaşlatmayı düşünüyorum. Robots.txt eklediğim kodlar aşağıdaki gibi. Acaba doğru mu yazdım? Yapmak istediğim sitem tüm arama motorları tarafından indekslensin, fakat Yandex ve Bing botlarının 10 sn ara vererek indeksleme yapmalarını istiyorum.

User-agent: *

User-agent: Yandex
Crawl-delay: 10

User-agent: bingbot
Crawl-delay: 10

Yardımlarınız için teşekkürler.