1)Google'de Robots.txt indirilme süresi beelli bir zaman aralığındamı olur?
2)Yani 24 saatte 1 yada 12 saatte 1 mi indirir?
3)Yoksa robots.txt içindeki herhangi bir değişiklik sonrası,robots.txt'yi yeniden indirir mi?
4)Böyle bir şey varsa bu sürecin hızlı gelişmesi için ne yapmak gerekir?