arkadaşlar merhaba,

yaklaşık 1 yıl önce seo'dan anlayan bir kişi, web sitemin robots.txt dosyasında değişiklik yaptı.

ama doğru mu yanlış mı yaptı bilemiyorum.

Sitemap: https://www.siteadresi.com/sitemap.xml

User-agent: *
 
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /archives/
Disallow: *?replytocom
Disallow: /author
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
User-Agent: Googlebot
Allow: /*.js*
Allow: /*.css*
Allow: /wp-content/uploads/
 
User-agent: Adsbot-Google
Allow: /
 
User-agent: Googlebot-Mobile

şu anki içerikler bu şekilde.

sorunum şu:

örneğin: semrush sitesinde birkaç alanda robots.txt hatası vermektedir.

sizce bu sorunu nasıl düzeltebilirim?

yardımcı olmanızı rica ederim.