robots.txt sadece iyi niyetli robotların kâle aldığı bir olaydır. erişimi engelleme gibi bir etkisi yoktur. arama motoru robotu eğer iyi niyetli ise nereye girip çıkacağına ev sahibinin (yani sizin) izin verdiğiniz yerlere bakarak karar verir.