Benzer bir iş yaptım, bir müşterim akademik PDF dosyalarında ki Mailleri toplayacak bir bot yazmamı istedi.
Dergiparkta sadece 500.000 PDF vardı ve çok hızlı isteklerde slowdown covboy alıyordum.
Her PDF'den sonra 1 saniye sleep verdim, sorun çıkarmadı ama süreci bayağı bi uzattı.
VDS aldık, biraz sorunluda olsa süreci tamamladık.

Genellikle isteğin sıklığına ve şiddetine göre güvenlik duvarı devreye giriyor.
Zaten aynı anda çok istek göndermek, bildiği atak yapmakla aynı şey.

Yapman gereken, 2-3 döngüde bir 1 saniye kadar sistemi uyutmak.