Root dizinde robots.txt dosyası olmalı. Eğer sitenizde herşeyin botlar tarafından görünmesini istiyorsanız robots.txt dosyanızın içeriği;

User-agent: *

şeklinde olmalı. Bu ifade sitedeki herşeyin arama botlarınca görünmesini sağlayacaktır.

Eğer arama botlarından klasör gizlemek istiyorsanız üstteki satırın altına, Disallow: /klasor_ismi/ dosya gizlemek için Disallow: /xxx.php şeklinde satırlar oluşturmalısınız.