Her site için çalışır robots.txt dosyanıza ekleyin.;
Allow: /.js$*
Allow: /.css$*
Dipnot: Bu olayı yapmasının 2 nedeni var. 1.si zararlı javascript yayn siteleri belirlemek. 2.si css dosyalarını da görerek sitenin tam olarak kullanıcılara nasıl göründüğünü anlayabilmektir. Kısacası bunu algoritmalarında kullanmak için istiyor. %0000001 bile olsa sıralamaya etki edecektir. Google böyle birşeyi önemli olmasa herkese göndermez.
Hocam sizin verdiğiniz bu kodlar, css klasörlerimiz disallow halde olsa bile işe yarar mı? Yoksa o klasörleri zaten allow hale mi getirmeliyiz robots.txt'de.