Wordpress kullanacaksanız yoast yada all in seo ayarlarından yazılar-sayfalar-kategoriler-biçimler ne varsa noindex yaparsanız olacaktır. Ya da söylediğiniz gibi robots.txt den de yaparsınız.