Robots.Txt Site Konularını Engelliyor

Merhaba,

Sitem google webmaster tools'a ekli ve oradan tarama hatalarına bakarken pek çok hata sayfaları gördüm.

Robots.txt dosyamın içeri bu;

User-Agent: *
Allow: /

Disallow: /*ref*
Disallow: /?ref=


Site haritasının içerisindekilere bazıları uygun değil bazılarına ise robots.txt ile engelleniyor diyor.
Robots.txt dosyası içinde ise engellenen bir ton sayfalarım var uygun değil veya robots.txt kısıtlıyor diyor. Neden böyle birşey yapıyor olabilir?

Değiştirin:

bende etkili olacağını düşünüyorum.

Teşekkürler. Hiç cevap gelmediği için bende böyle yapmıştım zaten. Diğer kodlar nasıl öyle oldu onu da hala anlayamadım.

benim sitedekilerde boyle sorun yok demi
User-agent: Googlebot
User-agent: googlebot-image
User-agent: googlebot-mobile
User-agent: *
Disallow: /*ref=*
Disallow: /news-admin/
Sitemap: http://www.sitadi.com/sitemap.xml

Webmaster tools'da site içeriklerini eklemiyorsa problem yok.

Webmaster tools'da Tarayıcı erişimi kısmında var aynisi ben tam olarak anlamiyorum bir arkdaş yapmişdi bunu aca bir zarari varmi diye merak ettim