robots.txt dosyasından dizinleri silip temizlediysen başka bişeye gerek yok... bir sonraki ziyaretinde robots.txt dosyasını inceliyim ona göre davranacaktır örümcek.

arama motorları her ziyaretlerinde mutlaka ilk olarak robots.txt dosyasını inceliyip, ona göre başlarlar indexe.