Cloudflare Request Bot Engellemesini Aşabilirmiyiz ?

Bir sitede request ile işlem yaptırmakta idik pyton ile fakat dün geceden itibaren tüm request işlemlerinde,
403 engeli vermekte.
Selenium vs kullanmadım mevcut requesti cloudflareden geçirebilirmiyiz ?

Çıktı :

ÜCRETLİ ÜCRETSİZ DESTEK VEREBİLECEKLER ULAŞABİLİRLER.

Takipp

request istekleriniz sınırlandırılmış (Rate Limit) ve Free CF kullanan site sahipleri bunları CF'nin ücretsiz sunduğu 10 saniyelik periyot engellemeleriyle sınırlı tutuyor yani 10 saniye maksimum duration verebiliyor buda tekrar botunuz 10 saniye sleep sonrasında tekrar çalışması anlamına geliyor fakat bu duration'ın birde 10 saniye içerisinde kaç request isteği atabilsin gibi ilk aşaması mevcuttur öncesinde site sahibinin 10 saniyede maksimum kaç isteği kabul ediyor gibi bir analiz yaparak 10 saniyede atabileceğiniz maksimum request'i aşağı yukarı tespit ederek botunuza bu request ile sınır belirletin sonrasında bu periyotlarla isteklerinizi sınırlı olarak gönderin başka türlü bunun önüne geçemezsiniz aşamazsınız bilginize iyi forumlar.

Not: Eğer tamamen siteye erişiminiz kesildiyse muhtemelen ASN block İP Class Block gibi özel WAF engellemeleri ile karşı karşıyasınız demektir. Yukarıda anlattığım 10 saniye içerisinde belli bir request limitinin üzerinde istek atmaya bir nevi spamlamaya çalıştığınızda CF'nin hızınızı kesmesi için 10 saniyelik bir block uygulaması 10 saniye sonra tekrar kullanıma açılmasını anlatıyor.

Öncelikle cevabınız ve desteğiniz için teşekkür ederim.
CF nin 10 saniyelik olmadığını anlayabilirmiyiz ?

Çünki başlatılan işlemde hiç başarılı sonuç alamıyoruz. Sürekli hata tekrar ediyor. Şimdi tekrar denedim yaklaşık 1 dakikalık saçılma sonucunda hiç veri gönderemedik. İlk veriden engellemesi normal mi ?

Tabiki anlayabilirsin eğer block 10 saniye sonrasında açılmazsa sürekli CF güvenlik ekranı uyarısıyla karşılaşıyorsan ya özel Erişim engeli yemişsindir trafiği kontrol etmiştir site sahibi sana özel ip adresine asn adresine ip class'ına kadar özel ban uygulamış olabilir yada ihtimali düşük bir senaryo Cloudflare ücretli paket kullanıyordur ve o zmnda Duration limitleri 10 saniyeden saatlere kadar yükseliyor para ödediğin gibi spam girişiminde bulunan saldırganları sitenden 1 saatlik bile uzaklaştırma imkanın olabiliyor.

bir saldırgan siteme 10 saniye içerisinde 31 kez istek atarsa diyelim 31. isteği 3 saniye gibi kısa bir sürede attı rate limit sistemi 7 saniye boyunca kullanıcıya hata mesajı gösterir ve site erişimini engeller ama ücretsiz kullanımlarda 10 saniye duration tek seçenektir ücretli paket kullanımda tam hatırlamıyorum uzun zaman aralıklarında bu uzaklaştırma yapılabiliyordu bakmak lazım.

Çok teşekkür ederim desteğiniz için.
İyi forumlar dilerim hocam.

Akla en basit yol olarak rotating user-agent ve proxy kullanmak geliyor. Rotating ile yapacaksanız ücretsiz user-agent ve proxy kullanmanızı önermem onları genelde herkes kullanıyor ve neredeyse her siteden banlı oluyor. Bu forum veya başka yerlerden 1 dolara 1 ip şeklinde alabilirsiniz. Onun dışında yaptığınız bot da bir thread pool mantığı yok ise yani aynı anda sadece bir tane işlem yapacak ise cookie ile de yapabilirsiniz. İyi forumlar

Hocam kusura bakmayın tekrardan yazıyorum. Şimdi farklı bir cihaz. Farklı bir ip adresi. (Mobil veri)
ile deneme yaptım. ve 1 adet request denemem de sorgu da aynı hata döndü.

CF nin bloğundan ziyade farklı bir sorun olabilir mi çünki temiz bir ip ile sadece 1 request bile engele takılıyor.

bu davranış sitenin normal kullanıcılarınada etik olmayan bir güvenlik olmasını gösteriyor belkide site sahibi saldırılardan bezdi ve çok düşük bir rate limit belirlemiş olabilir 10 saniyede 1-2 click gibi ve fazlasını göndermeye çalıştığınızda spam'a düşüyor olabilirsiniz fakat yine söylediğim gibi sitenin erişmekte olduğunuz yada api request endpoint'i saldırdığınız url site içerisinde işleyiş ve sürdürülebilirlik olarak çok önemli olmayan bir url'e tekabül ediyor isede bu gibi bir güvenlik almış olabilir fakat yinede etik değil bu google'da 10 saniyede 1 kez search edebilmemle aynı şeye tekabül eder. Saçmadır fakat site sahibinin geçmişte nasıl saldırılar yiyip bezmesiyle yanlış kararlar almasıylada alakalı olabilir farklı cihazdan tekrar 10 saniye içerisinde kaç request attığınızda spamlanıyorsunuz bunu tespit edin 2-3 istekde uçuyorsanız muhtemelemen normal kullanıcılarıda bu güvenlikten nasibini alcaktır. Çünkü otomatik kullanıcıya özel bir rules kural belirlenmiyor özel belirlenen kurallar dahilinde bu güvenlik önlemleri alınıyor sizin farklı cihazdan attığınız istekleri ilk 1-2 istekde sizi özel olarak tespit edebilmesi mümkün değildir. Çünkü normal bir ziyaretçi kullanıcıda olabilirsiniz ve bu güvenlik masum sıradan bir kullanıcıyıda engelle tabi tutabilir.