Kendini biraz fazla kasmışsın bu kadar şey yerine
User-Agent: *
Disallow: /wp-content/
Sitemap: http://www.xxxx.com/sitemap.xml
Bunu yaaprsan zaten otomatik olarak bütün botlara izin verir

DersiMVataN adlı üyeden alıntı: mesajı görüntüle
Bilmiyorum ama ben çözüm üretmeye doğru gidiyorum Robotx.txt Bu şekilde yaptım sonuçları bekliyorum
User-agent: *
Disallow: /*ref=*
User-agent: Mediapartners-Google*
Disallow:
User-agent: *
Disallow: /wp-admin/
User-agent: Black Hole
Disallow: /
User-agent: Titan
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: NetMechanic
Disallow: /
User-agent: CherryPicker
Disallow: /
User-agent: EmailCollector
Disallow: /
User-agent: EmailSiphon
Disallow: /
User-agent: WebBandit
Disallow: /
User-agent: EmailWolf
Disallow: /
User-agent: ExtractorPro
Disallow: /
User-agent: CopyRightCheck
Disallow: /
...................
.............
Belki İşinize Yarar