Hocam selenium, puppeteer gibi şeyler çok yavaşlatıyor bizi request ile halletmemiz lazım.
Rate-limit'i aynı ip için aşamayız ama cloudflare yönlendirme engeli için (Just wait...) TLS muhabbeti var githubta python - go gibi diller için fazlaca kaynak mevcut. Teknik detaylarını bilmiyorum ancak önerebileceğim bir kütüphane var cloudscraper