Herkese merhabalar.
Ben bilgisayar mühendisliği 4. sınıf öğrencisiyim. Bir proje için web crawler yapmaya uğraşıyorum. BU crawler sitelere login yapabilcek ve scrapping yapabilecek. Belli bir kısma kadar ilerleme kaydettim ancak simdi bazı sorunlar yaşamaktayım. Bu sorunlarla ilgili olarak sizlere danışmak istedim. Bana yardımcı olabilirseniz çok mutlu olurum. Bu sorunlar:

1. Bot Korumasını Aşma (CAPTCHA, Engellemeler, Kısıtlamalar):
Bot korumasını aşmak için BrightData'nın web unlocker hizmetlerini kullanıyorum. Ancak, bu hizmet her zaman etkili olmuyor, özellikle BlazingFast DDoS koruma veya Cloudflare gibi servisler tarafından korunan sitelerde. Bu tür korumaları aşmak için daha iyi bir web unlocker hizmeti var mı? Ya da başka bir çözüm öneriniz var mı?

2. CAPTCHA'ları Geçerek Giriş Yapma:
CAPTCHA'larla karşılaştığım sitelere giriş yapmak istiyorum. DeathByCaptcha gibi CAPTCHA çözüm hizmetlerini kullanmayı düşünüyorum, ancak bunu nasıl yapabileceğim konusunda bir örnek veya rehber bulamadım. Bu hizmetler CAPTCHA'ları geçerek başarılı bir giriş yapmamı sağlar mı? Eğer sağlarsa, bunu nasıl yapabileceğimi açıklayabilir misiniz?

3. Girişte Gerekli Olan Alanları (Çerezler vb.) Kullanma:
Bazı sitelere giriş yapabilmek için belirli alanları doldurmam gerekiyor, örneğin kimlik doğrulama çerezleri. Gerekli alanları belirlemek için Burp Proxy kullanarak ağ trafiğini inceliyorum. Ayrıca JMeter ile de bu işlemi yapabileceğimi biliyorum. Bu iş için Burp Proxy mi yoksa JMeter mı daha uygun? Ya da önerebileceğiniz başka bir yöntem var mı?

4. Bot Korumalarını Proxy ve User-Agent Döndürme ile Aşma:
Planim, web unlocker hizmetlerini kullanmak, proxy ve user-agent sürekli degistirmek. Ayrıca istek göndermeden önce kısa bir süre bekliyorum. Sizce bu yöntemler bot korumasını aşmam ve engellenmemi önlemem için yeterli mi?

Kisaca Crawler projemde çeşitli zorluklarla karşılaşıyorum. Bazı sorunları kısmen çözdüm, ancak diğerleri hâlâ çözülmedi. Bu konularda yardımlarınızı bekliyorum. Yardımcı olabilirseniz çok sevinirim.

Ayrıca projeyi java jsoup ile geliştiriyorum ancak selenium kullanmayı istiyorum. Bunun dışında da bu sorunları çözmek için her şeyi kullanabilirim. Yardımlarınız için şimdiden teşekkür ederim.