robots.txt kullanacaksınız.
Örneğin
User-agent: Gaisbot
Disallow: /