Robots.txt dosyası siteden silinince google sitede bir terslik olduğunu anlıyor ve bütün siteyi yeniden taramaya başlıyor. 1-2 gün sonra yeniden girdiğinde ise hem siten yeniden taranmış oluyor hem de sorun büyük ihtimalle çözülmüş oluyor. robots.txt dosyana site haritanı eklemeyi unutmayın.