Robots.txt dosyasında yaptığınız değişiklikler Google'a anlık olarak yansımıyor, Google'ın botları bir daha ki sefere sitenize uğradıklarında yeni kodları fark edip, buna uygun davranacaklardır.