aşağıdaki şekilde mevcut idi...
User-agent: *
Disallow: /?ref=
Disallow: sitecadresim.com/socialshare.php
Sitemap: sitecadresim.com/sitemap.xml
Robots.txt dosyanız iyi konfigüre edilmemiş. Aşağıdaki düzenlemeyi kullanarak güncelleyebilirsiniz:
User-agent: *
Disallow: /*ref=*
Disallow: /*?ref=
Disallow: /*?
Disallow: /socialshare.php
Disallow: /socialshare.php*
Sitemap: https://siteadresiniz.com/sitemap.xml
Not: www. kullanıyorsanız, sitemap.xml kısmını ona göre değişirsiniz.