dosyayı attıkdan sonra az beklemeni tavsiye ederim..belli periyotlarla tarıyor..doğru dosyayı bulacak ve tekrar okuyacaktır..önemli olan

htto://domain.com/robots.txt

sorunsuz çalışsın..botda direk server engeli yoksa (yani server ip banlamamışsa sorun olmaz..yok eğer banlamışsa bunu server yöneticisi ile görüşüp güvenlik ayarlarından düzeltmesini söyleyin)