Arkadaşlar, rakip bir sitenin robots.txt dosyasına bunlara rasladım. Sitede adsense kullanıyor. Fakat google botlarını engellemiş, bunun amacı ne olabilir?
User-agent: Mediapartners-GoogleUser-agent: AdsBot-Google-MobileUser-agent: AdsBot-Google