Bu yalnızca tahmin daha çok gerekebilir. Bir iterasyon başlatıyorsun. Örneğin bota diyorsunki prsi 3 büyük ve 7 küçük olanları otomatik aktif et diyorsun. Bizim bot başlıyor interneti sömürmeye. sıra ile aktif olan tüm domainlerden bir link çekiyor. gelen metinin textini çıkarıyorıp salt olarak dosya sistemine kayıt ediyor. sonrasını diğer botlar hallediyor. crontab a yerleştirilen PR bot Tag bot ve Parser bot.

Dediğim gibi ciddi anlamda bandwith ve disk alanı yiyor. Mysql db sinde sadece link listesini tutuyor. Fakat o yapıyo değiştireceğim sanırım. 1M url listesi mysql de ~30MB yer tutuyor. onu ilerki aşamada düşünüyorum. şimdi bi görelim 1 milyon linki indexleyince isteninlenleri verecek mi? Evde geliştirdiğim için bandwidth 4GB sadece. Düşünün 1M linki kaç ay sürer artık. Sistemi yerine oturttuğumuzda. Bot çiftlikleri bile kurabiliriz. 5 M linki geçebilmek için tutulan sonuçları bir çok diske parçalamamız gerekecek. SCSI nin babasını koysan yırtınır. Tabi 5M çok ilersi aşama şimdilik 1M link olsun yeter.