Büyük arama motorları sitelere botlarını gönderip indexliyorlar. Bu arama motorları robotları engelleme protokolüne göre hareket ederler. Eğer sitenin indexlenmesini istemiyorsanız robots.txt dosyasından sınırlama koyabilirsiniz
https://support.google.com/webmaster.../6062608?hl=tr
Dizinler vs. botlarla eklemeyen bazı arama motorları vardır hala. Onlarda bu protokol işe yaramayacaktır.