daha önce büyük bir projede böyle bir hata almıştım screaming frog ile taratmaya çalışın orada engelin nedenini, hangi satırdan kaynaklandığını yazar. eğer site çok dilliyse ve site haritaları farklıysa hiç beklemediğiniz çok saçma bir yerde farklı robots.txt dosyası olabilir.