Merhaba arkadaşlar.
Aşağıda ki robots.txt dosyasını kullanıyorum.
User-agent: *
Disallow: / wp-admin /
Disallow: / wp-includes /
Site Haritası: http://www.siteadı.com/sitemap.xml
Site Haritası: http://www.siteadı.com/sitemap.xml.tar.gz
Google webmaster tools'dan bazı işlemlerde Google botun erişemediği gibi hatalar alıyorum.
Google anında önizleme bölümünden sayfa url girdiğimde sayfaya erişiyor ekranda gösteriyor fakat bazı hatalar oldugu için sonuç vermiyor aldıgım hatalar aşagıda belirtilmiştir.
Konu hakkında yardımcı olursanız sevinirim.
sizinin kullandığınız Robots.txt dosyası nasıl bilgi verirseniz sevinirim.