Herhangi bir özel kural eklememeniz durumunda genel olarak botların erişimi serbest bırakılır.
Varsayılan ayarlar, özellikle tarayıcı botlarına, arama motorlarına (Google, Bing, Yahoo gibi) ve diğer güvenilir web tarama botlarına erişimi kolaylaştırmayı hedefler.