hocam,
Allow: /.js$* deki "$*" bu kod nedir?
Hocam sizin verdiğiniz bu kodlar, css klasörlerimiz disallow halde olsa bile işe yarar mı? Yoksa o klasörleri zaten allow hale mi getirmeliyiz robots.txt'de.
Bu kod
tüm .js ve .css uzantılı dosyaları indexleme izni verir. Disallow ların üst kısmına ekleyin ilk disallow klasörlerdekinleri bile indexler o zaman. Aslında üst alt da farketmiyor. Allow disallowa göre daha baskındır. Çarpma işlemindeki - gibi düşünün + ile - yi çarparsan sonuç - olur. - işaretini ise allow olarak görün.
örnek vereyim;
Allow: /.js$*
Disallow: /jsdosyasınınbulunduğuklasor/