Konuya biraz göz attım;

Google'ın bilgi dökümanları/sayfalarında robots.txt nasıl oluşturulur ve kullanılır ile ilgili bilgiyi yazılımcıya gönderin hataları giderecektir.

Sektöründe lider bir şirketin bu kuruluşa hizmet vermesini isterseniz özel mesaj ile iletişim bilgilerinizi bırakmanızı rica ediyorum.