Bir kaç dosyada onu kullanıyorum zaten ancak, klasörde ki tüm dosyalara onu tek tek yapmak gerekiyor. Robots.txt de klasörün tüm içeriğinin indexlenmesini önlüyorsunuz.
hangi klasör hocam? wp ise kolayı var. yoast eklentisini kurarsın..mesela etiketlerin indexlenmesini istemiyorsun, etiketleri noindex yapasrın olur biter. aynı şey sayfalar ve taxonomyler için de geçerli.
ama wp değilse bilemiycem.