Wordpress kullanıyorsanız Yoast SEO ayarlarında mevcut. (Arama sayfaları, yazar sayfaları ve buna benzer işe yaramaz linkleri arama motorlarına noindex olarak kapatabilirsiniz.)

Robots.txt olarak kullanımını bilmiyorum.