Merhaba,

Sitem google webmaster tools'a ekli ve oradan tarama hatalarına bakarken pek çok hata sayfaları gördüm.

Robots.txt dosyamın içeri bu;

User-Agent: *
Allow: /

Disallow: /*ref*
Disallow: /?ref=


Site haritasının içerisindekilere bazıları uygun değil bazılarına ise robots.txt ile engelleniyor diyor.
Robots.txt dosyası içinde ise engellenen bir ton sayfalarım var uygun değil veya robots.txt kısıtlıyor diyor. Neden böyle birşey yapıyor olabilir?