Locale çekmek için python kodu yazabilirim. Fakat WAF konfigürasyonu yapıldıysa delay eklemek gerekir ki çok zamanınızı alır. Asenkron olarak çekmek için servis satın almak gerekebilir. Big data dediğiniz için bunları söylüyorum.
Ben şuan halihazırda bi yerden çekiyorum aslında proxy kullanıyorum bir ip timeout yiyince diğerine geçiyor duraksamadan data çekmiş oluyorum fakat cloudflare olan sitelerde GET isteği attırmıyor direkt bot korumasına düşüyor o noktada takıdım