web yöneticisi araçlarına gir ordan araçlara gel robots.txt analizine gel orda

User-agent'ları seçin Yardım
Google çeşitli user-agent'lar kullanır. Bu robots.txt dosyasında, belirli user-agent'lar için erişimi kısıtlayabilirsiniz. Googlebot'u düzenli olarak yapılan web taramaları için kullandığımızdan, otomatik olarak seçeriz. Test etmek için ek bir user-agent seçebilirsiniz. Bir robots.txt dosyasında user-agent'lar için erişimi kısıtlamakla ilgili daha fazla bilgi için çıkarma sayfamıza bakın.

bölümünün altında karşılaştırmak için ek user-agent seçin bölümünden mediapartners-google olanını seç ve kontrol et de bakalım ne diyecek yanılıyor olabilirim