Benim emektar robots.txt dosyam;

Alıntı
User-Agent: *
Allow: /
Disallow: /wp-*
Disallow: /*ref*