20 milyon URL demeliydim hatalı bir ifade oldu, dolayısı ile 20 milyon gibi bir tarama ile rakip olmak mümkün değil. benim verdiğim rakam ayda 600milyon url, senede de 720milyon url yapıyor ki bunu google 1 günde fazlası ile dolaşıyor.
aslında benim merak ettiğim konu şu; altsayfaları olan 25bin site düşünürsek, her sitenin de 5000 alt sayfası olsa; 125.000.000url yapıyor toplamda. haftalık düzenli içerik kontrolü yapayım deseniz günlük 18milyon adet url gibi bir sayı çıkıyor.
benim merak ettiğim asıl nokta php'de bu mümkün olabilir mi? yoksa işin bot kısmı phyton felan mı olmalı?
PHP'nin bu yükün altından kalkabilmesi imkansız diye düşünüyorum. Mutlaka python kullanılmalı. Ayrıca farklı sunuculardan işlem yaparsanız ve yine sadece veritabanına ayrılmış ayrı bir sunucuya kayıt yaparsanız daha hızlı sonuç alabilirsiniz.