Bu başlığa benzer 1-2 konu açılmış. Fakat düzgün bir sonuca ulaşılamamış diye tekrardan ben açmak istedim.

Benim örnek robots.txt dosyam;

Sitemap: siteadı/sitemap.xml
Sitemap: siteadı/sitemap-image.xml

User-agent: Mediapartners-Google*
Allow: /

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: *
Disallow: /wp-admin/
Disallow: /mail/

User-agent: Yandex
Disallow: /wp-admin/
Disallow: /mail/

Sizde yorumunuzu yapıp, buda benim robots.txt dosyam şeklinde yorum yaparsanız, çok güzel bir konu olacağına inanıyorum.