kısaca botlar herşeyi indexlesin istiyorsan robots.txt adında bir dosya oluştur ve içine şunu yaz.

User-agent: *
Disallow:

bu kadar basit