• 28-12-2023, 01:19:50
    #1
    Merhaba.
    Cloudflare Under Attack Mode (JS Challenge) açık olan bir internet sitesinden veri çekmemiz gerekiyor. Web üzerinde PHP ile yazılmış bir projemiz var. Siteye giriş yaptırılıp session alınıp ikinci requestte de veri çekilecek.


    Saldırı vb amaçla kullanılmayacaktır, web scraping için gerekli.
    Tekliflerinizi iletebilirsiniz. Deneme amaçlı isteyen kişilere adresi özelden atabilirim.

    İnternette scraping hizmeti veren birçok siteyi denedim ama geçemedi.
  • 28-12-2023, 01:29:45
    #2
    Misafir
    Merhaba,
    https://www.r10.net/off-topic/376423...calisiyor.html

    bu apimizi deneyebilirsiniz genelinde çalışır.
    https://www.npmjs.com/package/puppeteer-real-browser
    puppeteer ile geçmek isterseniz de oluşturduğum kütüphaneyi veya
    https://www.npmjs.com/package/cloudflare-scraper
    bu kütüphaneyi kullanabilirsiniz.
    • Micron
    • webkaplani
    Micron ve webkaplani bunu beğendi.
    2 kişi bunu beğendi.
  • 28-12-2023, 01:30:45
    #3
    AlperenUlku adlı üyeden alıntı: mesajı görüntüle
    Merhaba.
    Cloudflare Under Attack Mode (JS Challenge) açık olan bir internet sitesinden veri çekmemiz gerekiyor. Web üzerinde PHP ile yazılmış bir projemiz var. Siteye giriş yaptırılıp session alınıp ikinci requestte de veri çekilecek.


    Saldırı vb amaçla kullanılmayacaktır, web scraping için gerekli.
    Tekliflerinizi iletebilirsiniz. Deneme amaçlı isteyen kişilere adresi özelden atabilirim.

    İnternette scraping hizmeti veren birçok siteyi denedim ama geçemedi.
    Eğer doğru yapılandırmadılarsa gerçek IP'yi bulup bunun üstünden işlem yapılabilir
  • 28-12-2023, 01:33:17
    #4
    Platin üye
    https://www.npmjs.com/package/puppet...tiveTab=readme

    Puppeteer ile bunu uygulayabilirsiniz. Yeni guncel kod. Php bu tarz seyler icin geri kaliyor.
  • 28-12-2023, 01:38:51
    #5
    Link gönderin bakayım sürekli bu tarz şeylerle uğraşıyorum
  • 28-12-2023, 01:48:40
    #6
    Micron adlı üyeden alıntı: mesajı görüntüle
    https://www.npmjs.com/package/puppet...tiveTab=readme

    Puppeteer ile bunu uygulayabilirsiniz. Yeni guncel kod. Php bu tarz seyler icin geri kaliyor.
    Attığınız node eklentisini denedim ama webdriver üzerinden çalışıyormuş. Bize daha atik web driver olmadan çalışabilecek bir sistem lazım. Çok fazla istek gönderilecek arka arkaya.
  • 28-12-2023, 07:47:18
    #7
    Misafir adlı üyeden alıntı: mesajı görüntüle
    Merhaba,
    https://www.r10.net/off-topic/376423...calisiyor.html

    bu apimizi deneyebilirsiniz genelinde çalışır.
    https://www.npmjs.com/package/puppeteer-real-browser
    puppeteer ile geçmek isterseniz de oluşturduğum kütüphaneyi veya
    https://www.npmjs.com/package/cloudflare-scraper
    bu kütüphaneyi kullanabilirsiniz.
    Kendim de aynı şekilde puppeter için bunu kullanıyorum hocam ama konu sahibinin dediği gibi aynı konudan müzdaribim. Bende axios ile bir url e post atıyorum ve devamlı olarak seri şekilde atılıyor bu istekler ondan dolayı puppeter ile veriö alamadım veya tam kullanamadım. Puppeter yardımıyla bir url e seri şekilde nasıl istek atabiliriz
  • 28-12-2023, 13:09:08
    #8
    Misafir
    yusok32 adlı üyeden alıntı: mesajı görüntüle
    Kendim de aynı şekilde puppeter için bunu kullanıyorum hocam ama konu sahibinin dediği gibi aynı konudan müzdaribim. Bende axios ile bir url e post atıyorum ve devamlı olarak seri şekilde atılıyor bu istekler ondan dolayı puppeter ile veriö alamadım veya tam kullanamadım. Puppeter yardımıyla bir url e seri şekilde nasıl istek atabiliriz
    Her istekte puppeteer kullanmamalısınız hocam cloudflare geçtikten sonra cookie ve agent alıp o bilgilerle istek atmalısınız. CF ile uğraşmadan yüzlerce isteği request ile geçirirsiniz. Birkaç kere browser açmanız yeterli.
  • 28-12-2023, 13:42:56
    #9
    Misafir adlı üyeden alıntı: mesajı görüntüle
    Her istekte puppeteer kullanmamalısınız hocam cloudflare geçtikten sonra cookie ve agent alıp o bilgilerle istek atmalısınız. CF ile uğraşmadan yüzlerce isteği request ile geçirirsiniz. Birkaç kere browser açmanız yeterli.
    Hocam örnek bir kod veya çalışma iletebilir misiniz acaba çok makbule geçer uzun süredir bu konuda araştırma yapıyorum 🙏