belli bir süreden sonra robots.txt'ten erişime engellenen linkler google arama sonuçlarından kalkar.