robots.txt sitenizin indekslenmesini veya tam tersi işlemler için kullanılır. Sitenizde bulunan tüm sayfaların, dosyaların indekslenmesini istiyorsanız

User-agent: *
Allow: /

robots.txt içerisinde bu kodun olması gerekir.