Doğrulamayı başlatın. Daha sonra hata veren urlleri inceleyin, robotsta o urlleri engelleyen komutu kaldırıp (örneğin etiketler noindexlidir aynı anda robotsta disallowdur) manuel olarak hata veren urlleri canlı teste tabi tutup dizine ekleyin.
robots.txt tarafından engellenen yerler burası hocam