Captcha’ya takılan Curl İsteklerini Nasıl Atlayabiliriz?

Merhabalar.

Günde 1 defa olmak üzere 1000-2000 tane curl istediğini Amazon’a gönderdiğimiz bir scrpit var. Lakin Amazon belli bir istekten sonra bağlantı isteklerini reddetiyor ve captcha’ya sokuyor bizi.

Proxy veya scraping servislerini kullanacak kadar büyük değiliz. Buna göre php ile ücretli, ücretsiz yardım edebilecek varsa sevinirim.

Ek olarak; Ücret önemli değil. (karşılıklı iyi niyet altında) Yeterki sorunu çözelim.

Bu sorduğun soruya cevap verebilecek kişi sayısı bir elin parmağını geçmez burada.
Benim tavsiyem biraz analiz yapmanız ve neticesinde analiz sonucunuza göre bir hareket planı çizmeniz.
Mesela,
Kaç adet requesti ne kadar kısa sürede yolladığınız zaman captcha ya düşüyorsunuz,
Cookie eklerseniz bunda herhangi bir değişiklik oluyor mu
Here 2 request arasına 15 saniye sleep koysanız, hala daha düşüyor musunuz mesela
gibi
Bu tür durumlarda captcha ile ben uğraşmak yerine, 3G modemim var bir tane. Üzerinde hattım var. O internete bağlanıyorum, modemi otomatik olarak belirli saniyede kapatıp açtırıyorum. Dolayısıyla çok hızlı bir şekilde sürekli ip adresimi değiştiriyorum. Bunun yanında selenium da çözüm olabilir.

Proxy olmadan çözmeniz çok zor. Sleep koyarakta olmayabiliyor. Amazona girerken kullandığınız ip farklarından dolayı mağazalarda listelenen ürünlerin sıralaması bile değişebiliyor. Hatta yukarıdan kargo teslim ülkesi seçmezseniz de çok değişik sayfalar görebilirsiniz. Ayrıca ürünlerin fiyatları bile değişiyor. Sizin sorununuz sadece captcha ise deathbycaptcha kullanarak çözebilirsiniz. Ben captcha'ya attığını düşünmüyorum direk girişinizi engelliyordur. Yakın zamanda ben de amazon üzerinde bir çalışma yaptım benzer sorunlar yaşadım. Hangi ülkeden ürün çekeceksek o ülkeye ait özel proxyler satın aldık ama ip sayısı yine de yetmedi. Çok fazla ip'ye sahip bir rotating proxy lazım bu iş için.


Ek olarak şunu da belirtmeden geçmeyeyim. Bu sorduğun soruya cevap verebilecek kişi sayısı oldukça fazladır. Siz konunuzla ilgilenin ve yapmaya uğraşın tüm takıldığınız yerlerde yardım bulabilirsiniz. Konuyu büyütmeye gerek yok basit bir curl işleminiz var.

Aynı problemi yaşayanlar için şu ana kadar aldığımız 2 aksiyon şöyle;

1.si tüm yazılımı localhosta aldık. Herhangi bir sunucu veya proxy ile bağlanmayı kestik.

2.si istek gönderirken curl’daki tarayıcı taklit etmeyi kaldırdık. Yani kazıyıcı olduğumuzu saklamıyoruz.

Sorun devam ederse, düzenlerim. Teşekkürler.