Selamlar herkese,

Elimizde 50M index'i olan ve hiç bir şekilde bot koruması olmayan bir internet sitemiz var diyelim.

Hangi dil ve/veya tool ile bunu mümkün olan en kısa sürede sayfalardaki emailleri toplardınız ve tahmini ne kadar sürerdi?

Bu soruyu fikir alışverişi ve belkide yeni tool keşfi gibi düşünebilirsiniz.

Benim şahsi cevabım
Benchmark için aşağıdaki sıralamalarda / varyasyonlarda botları yazar ve ilk 10k sayfayı ne kadar sürede taradıklarını kontrol eder ve buna göre en hızlı olanı seçerdim.
1. PHP + JS + MySQL,
2. Python + Selenium / Reuqests + MySQL
3. PHP + JS + Firebase
4. Chrome extension + JS + PHP API + MongoDB / Firebase
5. NodeJS + Mongodb
6. Mailextractor benzeri uygulamalar
---
Tahminim ise asenkron olmasından 5.seçeneğin en hızlı olacağı yönünde olur açıkçası.

Sizin fikirleriniz nelerdir? Daha önce bu şekilde büyük - yada uzun süren - scrape işlerine nasıl bir kombinasyon kullandınız?