robots.txt direktiflerini takmayan, agresif tarama yapan tüm user-agent ları engelliyorum. Ama bana hiçbir faydası olmayıp tarama sıklıklarına riayet edenlere de izin veriyorum. Semrush x veri gösteriyor sorgulayanlara izin verdiğim xxx veri gösteriyor. Ne kadar sağlıklı olabilir sence veriler. Tabi herkes benim gibi yapmıyordur.