Ana dizine robots.txt ismiyle kaydedilir. Arama motorları tarafından indekslenmesi yada indekslenmemesi gereken dosya veya klasörleri gösteren bir dosyadır.

İndekslenmesini istemediğiniz dosya:
İndekslenmesini istemediğiniz klasör:
İndekslenmesini istemediğiniz uzantı:
Arama motorlarına sitemap adresinide gösterebiliriz:
robots.txt içerisinde yasaklanmayan ve içerisinde meta tagları arasında; <META NAME="robots" CONTENT="noindex, nofollow"> kodu olmayan dosya ve klasörler arama motorlarınca indekslenebilir.