Sizce En Hızlı Scrape Bot'u Hangi Dil veya Tool ile olmalıdır?

Selamlar herkese,

Elimizde 50M index'i olan ve hiç bir şekilde bot koruması olmayan bir internet sitemiz var diyelim.

Hangi dil ve/veya tool ile bunu mümkün olan en kısa sürede sayfalardaki emailleri toplardınız ve tahmini ne kadar sürerdi?

Bu soruyu fikir alışverişi ve belkide yeni tool keşfi gibi düşünebilirsiniz.

Benim şahsi cevabım
Benchmark için aşağıdaki sıralamalarda / varyasyonlarda botları yazar ve ilk 10k sayfayı ne kadar sürede taradıklarını kontrol eder ve buna göre en hızlı olanı seçerdim.
1. PHP + JS + MySQL,
2. Python + Selenium / Reuqests + MySQL
3. PHP + JS + Firebase
4. Chrome extension + JS + PHP API + MongoDB / Firebase
5. NodeJS + Mongodb
6. Mailextractor benzeri uygulamalar
---
Tahminim ise asenkron olmasından 5.seçeneğin en hızlı olacağı yönünde olur açıkçası.

Sizin fikirleriniz nelerdir? Daha önce bu şekilde büyük - yada uzun süren - scrape işlerine nasıl bir kombinasyon kullandınız?

Python Requests asenkron yapı kullan

Bu "ben ne kullanayım" sorusu değil aslında yani "siz ne kullanırsınız" sorusu, fikir için teşekkürler, python request'inde asenkron seçeneği olduğunu bilmiyordum açıkçası.

Eğer bana bu iş için spesifik derecede bir fiyat farkı ödemiyorlarsa python requests kodlardım sonuçta ne kadar ekmek o kadar köfte kafasıyla ha diyorlarsa biz işe önem veriyoruz zaman ve hız bizim için önemli o zaman ona göre fiyat çekip python requests asenkron kodlardım