https://support.google.com/webmaster...er/93710?hl=tr
robots.txt üzerinden yaparsan başka sayfalardan gelen bir bağlantı varsa yine indexlenir.
meta tagları ile yapabilirsin:
<meta name="robots" content="noindex">
<meta name="googlebot" content="noindex">