Önbelleğe yazılan robots.txt dosyasının varsayılan metni aşağıda gösterilmiştir. Biz indirdikten sonra bu dosyada değişiklikler yaptıysanız, gösterdiğimiz metin en son versiyondan farklı olabilir. Yeni bir robots.txt dosyası için yaklaşık olarak günde bir kez kontrol yaparız.

Önbelleğe yazılan robots.txt dosyasının belirli URL'lere erişimi kısıtlayıp kısıtlamadığını görmek için bu metni olduğu gibi bırakın. robots.txt dosyasında yapılan değişikliklerin belirli URL'lere erişimi nasıl değiştireceğini görmek için bu metinde değişiklik yapın. robots.txt sözdizimiyle ilgili daha fazla bilgi için robotstxt.org adresine bakın.

Bu metni değiştirdiğinizde, sitede bulunan robots.txt dosyasını değiştirmediğinizi unutmayın. robots.txt değişikliklerinizi burada test ettiğinizde, dosyadaki uygun değişiklikleri sitede yapın.