Python ile Proxy Hk.

Question

Herkese merhaba,

Ben python ile 50 bin civarı link çekmeye çalışıyorum ama çok yavaş geliyor. Proxy kullanmam gerekiyormuş sanırım fakat bu nasıl olacak bilen ya da bu konu ile ilgili kaynak önerebilecek varsa çok sevinirim. Entegre edip hızlıca çekmem gerekiyor. Gerekli değerleri alabiliyorum fakat çok yavaş oluyor.
Not: Selenium, BeautifulSoup kullanıyorum.

Kubilay_ · Answer

Selenium tarayıcı ile çalışıyor diye biliyorum. 100 proxy kullanacağınızı varsayarsak 100 tarayıcı demek bu. İşin içine javascript girmiyorsa HTTP kütüphaneleriyle kodlamanız daha mantıklı. Ayrıca asenkronize hale getirmeniz gerekir.

Softgeni · Answer

Kubilay_ adlı üyeden alıntı:						mesajı görüntüle									Selenium tarayıcı ile çalışıyor diye biliyorum. 100 proxy kullanacağınızı varsayarsak 100 tarayıcı demek bu. İşin içine javascript girmiyorsa HTTP kütüphaneleriyle kodlamanız daha mantıklı. Ayrıca asenkronize hale getirmeniz gerekir. 		Anladım hocam ben bir bakınacağım zaten ama siteye giriş yapıp almam gerekiyor çünkü sitenin kaynak kodlarını direkt çekemiyorum engelli olduğu için. Ben de her seferinde bu döngüyü kurmam gerekiyor.

Kubilay_ · Answer

Softgeni adlı üyeden alıntı: mesajı görüntüle

Bu şekilde https://prnt.sc/1xpf06h
50 bin adet link var. Ben çekiyorum fakat oldukça yavaş oluyor. Bunu hızlandırmam gerekiyor. Yani 100 tanesini 1 saatte çekiyor gibi düşünebilirsiniz.

İnceleyip dönüş yapacağım hocam

Softgeni · Answer

Kubilay_ adlı üyeden alıntı:						mesajı görüntüle									Engelliden kasıt nedir? JavaScript ile şifrelenmiş şekilde mi kaynak kodlarında? 		Evet hocam şifreli şekilde maalesef o sebeple giriş yapıp almam gerekiyor.

ribrahimozer · Answer

İstediğiniz şey proxy değil multithreading hocam. Selenium kullanmak yerine requests session ozelligini kullanabilirsiniz. Çok daha hizli olacaktir. Ücretli destek gerekirse bakabilirim.

Softgeni · Answer

ribrahimozer adlı üyeden alıntı:						mesajı görüntüle									İstediğiniz şey proxy değil multithreading hocam. Selenium kullanmak yerine requests session ozelligini kullanabilirsiniz. Çok daha hizli olacaktir. Ücretli destek gerekirse bakabilirim. 		Hocam almak istediğim kısımlar şifreli döndüğü için alamıyorum maalesef. Bu sebeple selenium kullanıp bizzat sitenin page source'unu almam gerekiyor. Diğer türlü kaynak dönüşü olmuyor.

Kubilay_ · Answer

1-Seleniumda belirli bir sekme sayısı belirlenir. Örn 100. 100 sekme açılır. Sekme açmakla yükümlü bir thread olur. Aktif sekme sayısı 100'den aşağı düşünde yeni sekme açar. Bir diğer thread de sekmeler arası geçiş yapmakla yükümlü olur. Yüklenen sayfaları tek tek gezer, verileri çeker ve kapatır. Diğer yöntemlere göre yavaştır ama şuanki halinden daha hızlı olacaktır.
2-JavaScript şifreleme algoritması çözülüp python'da kodlanılabilir. Kolay olacağını sanmam.
3-JavaScript kodları istenilen veriyi decrypted olarak return edecek şekilde manipüle edilir ve Python'da dolaylı şekilde JavaScript çalıştırılır (bunu yapan kütüphane vardır mutlaka) istenilen çıktıya ulaşılır.
4-Son bahsettiğimin aynısı ama javascript çalıştırabilmesi için NodeJS ile geliştirilir.

Karşı taraf bu işlemleri yaparken işlem sayısından dolayı ip ban atmıyorsa proxy ihtiyacı yoktur.

Softgeni · Answer

Kubilay_ adlı üyeden alıntı:						mesajı görüntüle									1-Seleniumda belirli bir sekme sayısı belirlenir. Örn 100. 100 sekme açılır. Sekme açmakla yükümlü bir thread olur. Aktif sekme sayısı 100'den aşağı düşünde yeni sekme açar. Bir diğer thread de sekmeler arası geçiş yapmakla yükümlü olur. Yüklenen sayfaları tek tek gezer, verileri çeker ve kapatır. Diğer yöntemlere göre yavaştır ama şuanki halinden daha hızlı olacaktır.
2-JavaScript şifreleme algoritması çözülüp python'da kodlanılabilir. Kolay olacağını sanmam.
3-JavaScript kodları istenilen veriyi decrypted olarak return edecek şekilde manipüle edilir ve Python'da dolaylı şekilde JavaScript çalıştırılır (bunu yapan kütüphane vardır mutlaka) istenilen çıktıya ulaşılır.
4-Son bahsettiğimin aynısı ama javascript çalıştırabilmesi için NodeJS ile geliştirilir.

Karşı taraf bu işlemleri yaparken işlem sayısından dolayı ip ban atmıyorsa proxy ihtiyacı yoktur. 		
Hocam çok detaylı yazıp cevap verdiğiniz için çok teşekkür ederim. Benim js bilgim yok denecek kadar az bu sebeple direkt olarak manipüle edip veriyi alamıyorum. Bu sebeple selenium ile sekme açtırıp alıyorum. Bu da biraz yavaş olabiliyor. Bu sebeple bunu daha hızlı yapabileceğim yol eğer proxy ile işleme almaksa bunu da deneyeceğim. Dediklerinizi not olarak aldım. Kendim de birkaç arama yaptım. Dediğiniz şekilde denemeleri yapacağım. Detaylı cevap verdiğiniz için çok teşekkür ederim hocam

keremyagan · Answer

Hocam hangi site üzerinden çekmek istiyorsunuz , yardımcı olabilirim hocam

Softgeni · Answer

keremyagan adlı üyeden alıntı:						mesajı görüntüle									Hocam hangi site üzerinden çekmek istiyorsunuz , yardımcı olabilirim hocam 		flippa.com üzerinden hocam

keremyagan · Answer

Softgeni adlı üyeden alıntı:						mesajı görüntüle									flippa.com üzerinden hocam 		Buradaki bilgiler mi çekilecek hocam

Softgeni · Answer

keremyagan adlı üyeden alıntı:						mesajı görüntüle									Buradaki bilgiler mi çekilecek hocam 		Bu şekilde https://prnt.sc/1xpf06h
50 bin adet link var. Ben çekiyorum fakat oldukça yavaş oluyor. Bunu hızlandırmam gerekiyor. Yani 100 tanesini 1 saatte çekiyor gibi düşünebilirsiniz.

keremyagan · Answer

Softgeni adlı üyeden alıntı:						mesajı görüntüle									Bu şekilde https://prnt.sc/1xpf06h
50 bin adet link var. Ben çekiyorum fakat oldukça yavaş oluyor. Bunu hızlandırmam gerekiyor. Yani 100 tanesini 1 saatte çekiyor gibi düşünebilirsiniz. 		İnceleyip dönüş yapacağım hocam

Softgeni · Answer

keremyagan adlı üyeden alıntı:						mesajı görüntüle									İnceleyip dönüş yapacağım hocam 		Tamamdır teşekkür ederim hocam

Gelistirici · Answer

Ücretiyle size özel yazılım hazırlayabileceğimi düşünüyorum PM iletebilirsiniz arayışınız devam ediyor ise