Site ayarlarıyla alakalı bir durum. Hosting üzerinde domain/robots.txt erişimi kısıtlı olabilir. Zaten url yi incele dediğinizde erişememişsiniz. Erişim kayıtlarına bakarak istek atın. Access.log da sebebi yazar ki muhtemelen dosya izinleri yada sunucu yapılandırmasıındaki bir htaccess veya uri kuralı hatalı olabilir. Örn: uzantı silme ve sef url işlemi .txt kapsamıyorsa erişimi engeller. Yada selinux aktifdir ve dosya izinleri varsada engeller gibi gibi