....., robots.txt parametlerinde engellediğimiz bir klasörün içerisindeki blog modülü klasörünü indexletebilirmiyiz? .....
Klasörü degil tek tek sadece icindeki dosyalari disallow edin ..disallow etmedigin alt klasör indexlenir zaten..
Disallow: /klasör/dosya1.html
Disallow: /klasör/dosya2.html
Disallow: /klasör/dosya3.html
.
.
.
Hatta istenirse wildcard kullanarak (mesela klasör dizinine
direkt bagli jpg leri engellemek icin ) :
Disallow: /klasör/*.jpg$
yukardakilerin arasina birtek su satiri yazmicaksin :
Disallow: /klasör/istenilen_altklasör/