selamlar. bir arkadaşımın instagram hesabında çekiliş yapması için java'da selenium web driver kullanarak ilgili postun bütün yorumlarını çekiyorum. fakat bu yorumlar 3k yı geçtikten sonra "load more" butonu çok yavaş belirmeye başlıyor. haliyle de bütün yorumları çekmek git gide yavaş bir hal alıyor.

bu noktada işi bilenlerden bir fikir almam lazım.

şu ana kadar;
1. Java algoritması son derece hızlı çalışcak şekilde optimize edildi.
2. selenium web driver'da bir element bulunurken minimum işlem yapılcak şekilde ayarlandı.
3.seleniumda thread.sleep() metodu yerine direkt olarak "load more" butonunun belirdiği anda tıklama yapılarak gereksiz zaman kaybı önlendi.
4. browser tarafını hızlandırmak için gereksiz foto yüklenmesi, toolbar yüklenmesi vs devre dışı bırakıldı.

şimdi instagram graph api çok değiştiği ve bütün yorumları vermediği için (yanlışım varsa düzeltin) selenium'a yöneldim. bir postun altındaki yorumları çekerken network hızını ve memory yi inceledim. network hızıyla ilgili problem yok. ama memory şişmese de belli bir düzeyde seyrediyor.

aklıma gelen "load more" butonuna bastıkça daha önce okuduğum (parse ettiğim) yorumları sayfadan silmek (selenium'n remove element metodu), ama bu noktada remove işlemi sadece ilgili elementi hidden yapıyor sanırım. yani bir yararı olmaz gibi(denemedim henüz).

sizin bu konuda herhangi bir fikriniz varsa öğrenmeyi çok isterim.

edit: commetpicker vs gibi hazır sistemleri araştırdım. kendi sistemimi yazmak için (ticari değil) fikir istiyorum. bu tip piyasadaki sistemlerin nasıl çalıştığı hakkında bilginiz var ise o da işime yarar.