Merhaba,

robots.txt dosyasında da belirtebilirsiniz, ancak indeks almasını istemediğiniz sayfalara aşağıdaki meta etiketini eklerseniz Google bu sayfaları görmezden gelecektir.
Ben robots.txt yerine bu yöntemin kullanılmasını daha uygun buluyorum, çünkü robots.txt giriş sayfaları gibi çokça saldırıya maruz kalan sayfaların mahremiyetini açık edebiliyor.

<meta name="robots" content="noindex, nofollow" />