Robots.txt ile gelen google ve diğer arama motoru botlarını yönetebilirsiniz istemediğiniz dizinlerin indekslenmesini engellersiniz. Botlar zaten şifreli dizinleri ve dosyaları okuyamaz.