Bir kaç dosyada onu kullanıyorum zaten ancak, klasörde ki tüm dosyalara onu tek tek yapmak gerekiyor. Robots.txt de klasörün tüm içeriğinin indexlenmesini önlüyorsunuz.