robots.txt ile şu kodu kullanabilirsiniz.
Alıntı
User-agent: Googlebot
Disallow: /seo
Alıntı
Ayrıca indexlenmesini istemediğiniz tekil sayfalar varsa metatag bölümüne aşağıdaki kodu ekleyerek botların o sayfayı indekslemesini önleyebilirsiniz :
<meta name="ROBOTS" content="NOINDEX, NOFOLLOW" />