Python ile Request atarken CloudFlare doğrulamasına takılmak

Question

Merhaba. Aylardır VDS üzerinde düzgün çalışan scriptim maalesef son zamanlarda çalışmıyor. Sanırım son günlerde CloudFlare için bir güncelleme geldi. CloudFlare'i bir türlü aşamıyorum. Header ayarlarını vs. olabildiğince insancıl şekilde ayarladım ama fayda etmedi. VDS olduğu için IP üzerinden algılıyor olabileceğini de düşünerek kendi bilgisayarım üzerinden denedim, isteğim sorunsuz şekilde gerçekleşti. Sanıyorum VDS IP yüzünden. Böyle bir durumda öneriniz nedir? Bypass edilebilir mi? Residantel proxy mi kullanılmalı, en ucuz residantel proxy nerden bulunabilir? Scriptim ise bir web sitesine girip arkaplanda apiden gelen verileri alıyor. VDS üzerinde normal bir şekilde tarayıcım ile girdiğimde herhangi bir doğrulamaya takılmıyorum ve ekrana veriler düzgünce geliyor. Python yerine tarayıcı üzerinde çalışabilecek JavsScript eklentiler gibi yöntemler ile API'den veri çekmek mümkün olur mu? Düşüncelerinizi bekliyorum, teşekkürler.

HELIX · Answer

Aynı sorunla aylar önce bir projemde karşılaştım.
Anladığım kadarıyla kendi apinize vds üzerinden istek atarken cloudflare korumasına takılıyorsunuz.
Ben cloudflare waf kısmından vdsin ipsine tüm izinleri verdim bu sorun ortadan kalktı. Normalde türkiye dışı ipleri engelliyordum bunu vds için devre dışı bıraktım.

GVertigang · Answer

HELIX adlı üyeden alıntı:						mesajı görüntüle									Aynı sorunla aylar önce bir projemde karşılaştım.
Anladığım kadarıyla kendi apinize vds üzerinden istek atarken cloudflare korumasına takılıyorsunuz.
Ben cloudflare waf kısmından vdsin ipsine tüm izinleri verdim bu sorun ortadan kalktı. Normalde türkiye dışı ipleri engelliyordum bunu vds için devre dışı bıraktım. 		Kendi API'm değil. Scraping yapıyorum.

fantasy1337 · Answer

tls client ile yapıyorsanız cloudflareye güncelleme geldi o yüzden bozuldu benim de projelerim bozuldu

panterka · Answer

Çekmek istediğiniz verinin boyutu nedir. Request status kodunu kontrol ettiniz mi. Farklı bir kütüphane deneyebilirsin Scrapy kullanmanı öneririm. Çok farklı şekillerde özelleştirilebilir ve cloudflare bypass teknikleri var. Github da scrapy için özel proxy poollar var deneyebilirsin. Bunları yapamazsan selenium ile headless tarayıcı modunu da deneyebilirisn. User Agentini de güncel tut, sorunsuz veri çektiğin kendi agentini kullan ve header içeriğinde şunları kullandığından emin ol hocam. 
'User-Agent': 
'Accept': 
'Accept-Encoding': 
'Accept-Language': 
'Sec-Fetch-Dest': 
'Sec-Fetch-Mode': 
'Sec-Fetch-Site': '
'Sec-Fetch-User':

GVertigang · Answer

fantasy1337 adlı üyeden alıntı:						mesajı görüntüle									tls client ile yapıyorsanız cloudflareye güncelleme geldi o yüzden bozuldu benim de projelerim bozuldu  		Dümdüz Python'un requests kütüphanesini kullanıyordum. TLS-CLIENT kullanmıyordum. Belli ki genel bir güncelleme gelmiş. Bypass'ı var mı bunun? Kendi IP adresimden oluyor bu arada. VDS üzerinden ise 403 dönütü alıp duruyorum.

ErayEfe · Answer

Pmden site linkini atar mısınız legal ise.

GVertigang · Answer

panterka adlı üyeden alıntı:						mesajı görüntüle									Çekmek istediğiniz verinin boyutu nedir. Request status kodunu kontrol ettiniz mi. Farklı bir kütüphane deneyebilirsin Scrapy kullanmanı öneririm. Çok farklı şekillerde özelleştirilebilir ve cloudflare bypass teknikleri var. Github da scrapy için özel proxy poollar var deneyebilirsin. Bunları yapamazsan selenium ile headless tarayıcı modunu da deneyebilirisn. User Agentini de güncel tut, sorunsuz veri çektiğin kendi agentini kullan ve header içeriğinde şunları kullandığından emin ol hocam.
'User-Agent':
'Accept':
'Accept-Encoding':
'Accept-Language':
'Sec-Fetch-Dest':
'Sec-Fetch-Mode':
'Sec-Fetch-Site': '
'Sec-Fetch-User': 		User-agent sürekli güncel tutarım. Paylaştığınız her türlü değeri önce Selenium ile siteye girdiğimde çekip API'ye istek atmadan güncelletiyordum. Cookie'lerı --headless ile çekmeyi denediğimde kesinlikle çalışmıyor. Ben normalde auth ile ilgili olan her türlü değeri Selenium ile siteye giriş yaparak alıyordum, request yollamadan önce ise script içerisinde güncel auth bilgileri ile güncelletiyordum. Şu an bundan vazgeçtim yalnızca sorunu anlamak amacıyla ve Selenium kullanmadan dümdüz elimle girdiğimde dahi request atamıyorum. 403 alıyorum. Ama aynı kod ile kendi bilgisayarımdan yaptığımda işlem gerçekleşiyor. Datacenter IP yüzünden olduğunu düşünüyorum.

aktan · Answer

GVertigang adlı üyeden alıntı:						mesajı görüntüle									User-agent sürekli güncel tutarım. Paylaştığınız her türlü değeri önce Selenium ile siteye girdiğimde çekip API'ye istek atmadan güncelletiyordum. Cookie'lerı --headless ile çekmeyi denediğimde kesinlikle çalışmıyor. Ben normalde auth ile ilgili olan her türlü değeri Selenium ile siteye giriş yaparak alıyordum, request yollamadan önce ise script içerisinde güncel auth bilgileri ile güncelletiyordum. Şu an bundan vazgeçtim yalnızca sorunu anlamak amacıyla ve Selenium kullanmadan dümdüz elimle girdiğimde dahi request atamıyorum. 403 alıyorum. Ama aynı kod ile kendi bilgisayarımdan yaptığımda işlem gerçekleşiyor. Datacenter IP yüzünden olduğunu düşünüyorum. 		Datacenter değil sizin ipden openssl ile daha önce atlattığınız için sizde sorun yokmuş gibi görünüyor. Mobil cihazınızdan bağlanıp deneyin sorun devam eder. Ayrıca dileyen olursa request ile geliştirmiş olduğum apiden uygun ücret ile bypass hizmeti sunabilirim. Dileyen olursa proxy destekli bypass hizmeti verebilirim.

GVertigang · Answer

aktan adlı üyeden alıntı:						mesajı görüntüle									Datacenter değil sizin ipden openssl ile daha önce atlattığınız için sizde sorun yokmuş gibi görünüyor. Mobil cihazınızdan bağlanıp deneyin sorun devam eder. Ayrıca dileyen olursa request ile geliştirmiş olduğum apiden uygun ücret ile bypass hizmeti sunabilirim. Dileyen olursa proxy destekli bypass hizmeti verebilirim. 		Konu uzun süre önce IP değişikliği ile çözüldü. Teşekkürler.