Botların sitenize gelme süresine bağlı hocam. Benim robots.txt bu şekilde, google ve benzeri arama motorlarında da indexler mevcut. Sizin kodlarda bu şekil mi daha farklı mı kullanıyorsunuz?