PHP'nin bu yükün altından kalkabilmesi imkansız diye düşünüyorum. Mutlaka python kullanılmalı. Ayrıca farklı sunuculardan işlem yaparsanız ve yine sadece veritabanına ayrılmış ayrı bir sunucuya kayıt yaparsanız daha hızlı sonuç alabilirsiniz.
çok teşekkür ederim.. benim de kafamdaki düşüncede 30-50 arası bir sunucu kullanmak var. fakat 20 milyon url az bir rakam değil. boşa hayal de kurmak istemiyorum doğrusu...
bu konuda tecrübesi olan arkadaşlar veya geçmişte herhangi bir proje vs. için yüksek sayıda tarama yapmış olanlar bilgi aktarabilirse çok mutlu olurum.