Benim robots.txt im şu şekilde arkadaşlar
User-agent: * Disallow: /wp-admin/ --> Burada Admin dosyalarını erişime kapattık . Disallow: /wp-includes/ ---> Burada ise sitemizi için gerekli ayarların olduğu klasörü kapattık . Allow: /wp-includes/*.js --> Burada gerekli ayarlar her ne kadar kapalı olsada içlerinde .js uzantılı dosyaların engelini kaldırdık . Allow: /wp-includes/*.css --> Burada da .css uzantılı dosyaların engelini kaldırdık. Sitemap: http://www.sanalfaresi.com/sitemap.xmlNOT : "-->"ile birlikte açıklama kısımlarını silerek atınız
.KAYNAKLAR :
http://stackoverflow.com/questions/31691662/allowing-javascript-and-css-files-to-be-crawled/31691738?sgp=2#31691738
http://www.sanalfaresi.com/wordpress...obots-txt-2015