Robots.txt dosyasının kurallarına uymak gelen botun tercihine bağlıdır.
Mesela Google botları eğer ilgili sayfa çok fazla trafik alıyorsa bu kuralı göz ardı eder ve o sayfayı tarar.