disallow olarak belirtilmeyen url'ler varsayılan olarak allow'dur. ek bilgi olarak robots.txt dosyası sayfaların dizine eklenmesini engellemez, sadece botlar tarafından taranmaması gerektiğini belirtir. yani disallow yaptığınız sayfaların dizine eklenmesini istemiyorsanız ek olarak noindex'de ekleyin