örnek bir robots.txt dosyası atayım hocam tarafınıza sizde sitemap ayarlarınızı yaptığınızda iş tamamdır...

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Allow: /wp-content/uploads/
Disallow: /xmlrpc.php
Disallow: /*.php$
Disallow: */feed/
Disallow: */trackback/
Disallow: /archives/
Disallow: /index.php
Disallow: /Downloads/DersNotlari/*
Disallow: /Downloads/

# Google Image
User-agent: Googlebot-Image
Allow: /

# Google AdSense
User-agent: Mediapartners-Google*
Allow: /

# Google Adsbot
User-agent: Adsbot-Google
Allow: /

# digg mirror
User-agent: duggmirror
Allow: /

Sitemap: https://mertcangokgoz.com/sitemap.xml