Robots txt dosyasını test aracı üzerinden silip yeniden ekledim, belleğe alınan kısımları sildim. Sonunda düzeltebildim. Canıma okudu vallahi.