Arkadaşlar yıllardır robots dosyam aynıdır, ama bugün webtoolsa girdiğimde sitenizde ciddi düzeyde sağlık sorunları bulundu uyarısı ile karşılaştım. Soruna baktığımda çıkan uyarı "Bazı önemli sayfalar robots.txt tarafından engellendi." bu şekilde.Ve site haritasında 146 tane hata ortaya çıkmış normalde hiç başıma gelmediği için fikirlerinizi almak istedim.
Robots olarak şunu kullanıyorum :
User-agent: *
User-agent: mediapartners-google
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$
Disallow: */trackback/
Disallow: /wp-includes/
Sitemap: http://www.siteadi.com/sitemap.xml
Robots test aracından hata veren URL adreslerini kontrol ediyorum izin verildi diyor sorun ne olabilir?
Robots Sorunu!
0
●266