Arkadaşlar Google Web Yöneticisinde sitemap doğrulandı kısmının orda bugün gördümde kırmızı bir
UYARI yazısı vardı ve inceledimde şöyle bir şey yazmışlar:
Alıntı
Robot dışında bırakılan URL'ler
Site Haritanızdaki URL'lerin bir örneğini test ettiğimizde, sitenin robots.txt dosyasının URL'lerden bazılarına erişimi engellediğini fark ettik. Site Haritasında bulunan URL'lerden bazılarını engellemeyi amaçlamıyorsanız, Site Haritanızda gönderdiğiniz URL'lerin Gogolebot tarafından erişilebilir olduğunu doğrulamak için lütfen robots.txt analiz aracımızı kullanın. Erişilebilir tüm URL'ler yine de gönderilir.
Robots.txt Dosyamda da sadece şu kodlar var.
Alıntı
# BEGIN XML-SITEMAP-PLUGIN
Sitemap:
http://www.siteadim.com/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN
User-agent: *
Disallow: /*ref*
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
User-agent: OOZBOT
Disallow: /
User-agent: Microsoft URL Control - 6.00.8169
Disallow: /
User-agent: grub-client
Disallow: /
User-agent: grub
Disallow: /
Bunlarda robots.txt ile kısıtlanan URL'ler:
Acaba problem nedir Robots.txt dosyası neyi engelliyor.Veya kaldırmam gereken bir kod var mı?