en temiz yol robots.txt dosyası ile engellemektir, ana dizine bu isimde bir dosya oluşturun ve içine aşağıdaki kodları yapıştırın;

User-agent: *
DisAllow: /