Sunucunun çok iyi olması lazım.Vardı bir ara sunucu dayanmadı.

Her eklenenen sitenin rsssi cron yöntemiyle belli aralarla(15dk,30dk v.s.) çekilmesi gerekiyor.

Bir siteden günde ortalama 100 veya 50 diyelim veri çekiyorsunuz.Böyle bir sistemde 1000'lerce site varsa varın siz hesap edin.

Bununla ilgili çalışmalar yapmıştık.

https://www.r10.net/dmoz-ve-diger-diz...e-bir-ilk.html