Robots.txt dosyasına arama motoru botlarına indexlememesi için gerekli komutu vermelisin.

User-agent: Googlebot
Disallow: /