Evet belki robots.txt'de izin verilmemiştir tüm robotlara.