1-Seleniumda belirli bir sekme sayısı belirlenir. Örn 100. 100 sekme açılır. Sekme açmakla yükümlü bir thread olur. Aktif sekme sayısı 100'den aşağı düşünde yeni sekme açar. Bir diğer thread de sekmeler arası geçiş yapmakla yükümlü olur. Yüklenen sayfaları tek tek gezer, verileri çeker ve kapatır. Diğer yöntemlere göre yavaştır ama şuanki halinden daha hızlı olacaktır.
2-JavaScript şifreleme algoritması çözülüp python'da kodlanılabilir. Kolay olacağını sanmam.
3-JavaScript kodları istenilen veriyi decrypted olarak return edecek şekilde manipüle edilir ve Python'da dolaylı şekilde JavaScript çalıştırılır (bunu yapan kütüphane vardır mutlaka) istenilen çıktıya ulaşılır.
4-Son bahsettiğimin aynısı ama javascript çalıştırabilmesi için NodeJS ile geliştirilir.
Karşı taraf bu işlemleri yaparken işlem sayısından dolayı ip ban atmıyorsa proxy ihtiyacı yoktur.
Hocam çok detaylı yazıp cevap verdiğiniz için çok teşekkür ederim. Benim js bilgim yok denecek kadar az bu sebeple direkt olarak manipüle edip veriyi alamıyorum. Bu sebeple selenium ile sekme açtırıp alıyorum. Bu da biraz yavaş olabiliyor. Bu sebeple bunu daha hızlı yapabileceğim yol eğer proxy ile işleme almaksa bunu da deneyeceğim. Dediklerinizi not olarak aldım. Kendim de birkaç arama yaptım. Dediğiniz şekilde denemeleri yapacağım. Detaylı cevap verdiğiniz için çok teşekkür ederim hocam
