disallow olarak belirtilmeyen url'ler varsayılan olarak allow'dur. ek bilgi olarak robots.txt dosyası sayfaların dizine eklenmesini engellemez, sadece botlar tarafından taranmaması gerektiğini belirtir. yani disallow yaptığınız sayfaların dizine eklenmesini istemiyorsanız ek olarak noindex'de ekleyin
disallow olarak belirtmemin sebebi index almasını istemiyorum. yani botlar tarasada olur.ben sizin yazdığınızı okuduğum robot.txt hazırlama anladım
