User-agent: *
allow: /

Yukarıdaki Kod Tüm arama motorlarının taramasına izin vermiyorum demek..
Yani arama motor botları sitenize gelmez..

Aşağıdai kodu ekleyin..

User-agent: *
Disallow:

yazın sadece başka hiçbirşey yazmayın önune tüm botların taramasına izin vermiş olacaksınız..