bu örümcek siteleri indexemeyecek de ne yapacak ? Başka işi gücü ne ? Arama moturunun görevi hatta en temel görevi yeni bilgilere ulaşmak değil midir ? Sanırım siz arama motorundaki yüksek teknolojiyi daha çok parayla ölçüyorsunuz.
Bana göre yüksek teknoloji = Hız
Bana göre yüksek teknoloji = Mantık
Mantıksal olarak da belirli bir süre içerik girilmeyen siteye uğramayı biraz daha azaltırım. Ne dersiniz?