• 28-12-2023, 14:12:06
    #10
    Misafir
    yusok32 adlı üyeden alıntı: mesajı görüntüle
    Hocam örnek bir kod veya çalışma iletebilir misiniz acaba çok makbule geçer uzun süredir bu konuda araştırma yapıyorum 🙏
    Önce agent ve cookie alıp onla da get atıp cf yi bu şekilde atlıyoruz. Cookie yi aldıktan sonra o cookie ile yüzlerce request atabilirsiniz. Bu kütüphane proxy desteklemiyor proxy gerekiyorsa benim oluşturduğum kütüphane ile cf yi atlayıp cookie ve agent alabilirsiniz.

    https://www.youtube.com/watch?v=3LYL...ab_channel=ZFC
    import got from 'cloudflare-scraper';
    import axios from 'axios'
    import fs from 'fs'
    function parseHeaders(requestString) {
        console.log(requestString);
        const headers = requestString.split('\n').slice(1, -2);
        let userAgent, cookie;
        headers.forEach(header => {
            const [key, value] = header.split(': ');
            if (key.toLowerCase() === 'user-agent') {
                userAgent = value;
            } else if (key.toLowerCase() === 'cookie') {
                cookie = value;
            }
        });
        userAgent = userAgent.replace(/[^\t\x20-\x7e\x80-\xff]/g, '')
        cookie = cookie.replace(/[^\t\x20-\x7e\x80-\xff]/g, '')
        return { userAgent, cookie };
    }
    
    
    
    var url = "https://www.000webhost.com/cpanel-login"
    const response = await got.get(url);
    const { userAgent, cookie } = parseHeaders(String(response.request._request._header));
    console.log('Agent ve cookie alındı.');
    axios.get(url, {
        withCredentials: true,
        headers: {
            "Cookie": cookie,
            'User-Agent': userAgent
        }
    }).then(response => {
        // console.log(response.data);
        console.log('Site başarıyla kazındı.');
        fs.writeFileSync('./response.html', String(response.data))
    })
        .catch(err => {
            console.log(err.message);
        })
    • enesutku
    • smmlider
    enesutku ve smmlider bunu beğendi.
    2 kişi bunu beğendi.
  • 28-12-2023, 18:24:35
    #11
    Misafir adlı üyeden alıntı: mesajı görüntüle
    Önce agent ve cookie alıp onla da get atıp cf yi bu şekilde atlıyoruz. Cookie yi aldıktan sonra o cookie ile yüzlerce request atabilirsiniz. Bu kütüphane proxy desteklemiyor proxy gerekiyorsa benim oluşturduğum kütüphane ile cf yi atlayıp cookie ve agent alabilirsiniz.

    https://www.youtube.com/watch?v=3LYL...ab_channel=ZFC
    import got from 'cloudflare-scraper';
    import axios from 'axios'
    import fs from 'fs'
    function parseHeaders(requestString) {
        console.log(requestString);
        const headers = requestString.split('\n').slice(1, -2);
        let userAgent, cookie;
        headers.forEach(header => {
            const [key, value] = header.split(': ');
            if (key.toLowerCase() === 'user-agent') {
                userAgent = value;
            } else if (key.toLowerCase() === 'cookie') {
                cookie = value;
            }
        });
        userAgent = userAgent.replace(/[^\t\x20-\x7e\x80-\xff]/g, '')
        cookie = cookie.replace(/[^\t\x20-\x7e\x80-\xff]/g, '')
        return { userAgent, cookie };
    }
    
    
    
    var url = "https://www.000webhost.com/cpanel-login"
    const response = await got.get(url);
    const { userAgent, cookie } = parseHeaders(String(response.request._request._header));
    console.log('Agent ve cookie alındı.');
    axios.get(url, {
        withCredentials: true,
        headers: {
            "Cookie": cookie,
            'User-Agent': userAgent
        }
    }).then(response => {
        // console.log(response.data);
        console.log('Site başarıyla kazındı.');
        fs.writeFileSync('./response.html', String(response.data))
    })
        .catch(err => {
            console.log(err.message);
        })
    teşekkürler hocam, cloudflare-scraper paketi esm sistemiyle çalışıyor sanırım benim proje full common js ile çalışıyor ve esm ye geçirmek baya sorun olur. Bu paketi direk require ile çağırabileceğim bir versiyonu var mı acaba
  • 28-12-2023, 18:26:15
    #12
    Misafir
    yusok32 adlı üyeden alıntı: mesajı görüntüle
    teşekkürler hocam, cloudflare-scraper paketi esm sistemiyle çalışıyor sanırım benim proje full common js ile çalışıyor ve esm ye geçirmek baya sorun olur. Bu paketi direk require ile çağırabileceğim bir versiyonu var mı acaba
    https://github.com/zfcsoftware/puppeteer-real-browser
    bu readme de bir örnek verdim hocam type module olan paketleri commanjs ile kullanmak için
    await import ile dahil edebilirsiniz.

          
      const start = async () => {
    var puppeteerRealBrowser = await import('puppeteer-real-browser')
    puppeteerRealBrowser = await puppeteerRealBrowser.puppeteerRealBrowser({})
    var browser = puppeteerRealBrowser.browser
    var page = puppeteerRealBrowser.page
            }
  • 28-12-2023, 18:28:03
    #13
    Misafir adlı üyeden alıntı: mesajı görüntüle
    https://github.com/zfcsoftware/puppeteer-real-browser
    bu readme de bir örnek verdim hocam type module olan paketleri commanjs ile kullanmak için
    await import ile dahil edebilirsiniz.

          
      const start = async () => {
    var puppeteerRealBrowser = await import('puppeteer-real-browser')
    puppeteerRealBrowser = await puppeteerRealBrowser.puppeteerRealBrowser({})
    var browser = puppeteerRealBrowser.browser
    var page = puppeteerRealBrowser.page
            }
    evet bu yöntemi denedim fakat bu sefer cloudflare-scraper paketindeki get metotunu bulamadı
  • 28-12-2023, 18:36:42
    #14
    Misafir
    yusok32 adlı üyeden alıntı: mesajı görüntüle
    evet bu yöntemi denedim fakat bu sefer cloudflare-scraper paketindeki get metotunu bulamadı
    Buyrun hocam
    const fs = require('fs')
    const axios = require('axios')
    function parseHeaders(requestString) {
        console.log(requestString);
        const headers = requestString.split('\n').slice(1, -2);
        let userAgent, cookie;
        headers.forEach(header => {
            const [key, value] = header.split(': ');
            if (key.toLowerCase() === 'user-agent') {
                userAgent = value;
            } else if (key.toLowerCase() === 'cookie') {
                cookie = value;
            }
        });
        userAgent = userAgent.replace(/[^\t\x20-\x7e\x80-\xff]/g, '')
        cookie = cookie.replace(/[^\t\x20-\x7e\x80-\xff]/g, '')
        return { userAgent, cookie };
    }
    
    
    const start = async () => {
        var got = await import('cloudflare-scraper')
        got = got.default
        var url = "https://www.000webhost.com/cpanel-login"
        const response = await got.get(url);
        const { userAgent, cookie } = parseHeaders(String(response.request._request._header));
        console.log('Agent ve cookie alındı.');
        axios.get(url, {
            withCredentials: true,
            headers: {
                "Cookie": cookie,
                'User-Agent': userAgent
            }
        }).then(response => {
            // console.log(response.data);
            console.log('Site başarıyla kazındı.');
            fs.writeFileSync('./response.html', String(response.data))
        })
            .catch(err => {
                console.log(err.message);
            })
    }
    start()
  • 28-12-2023, 19:13:54
    #15
    Harici servisler ile sağlanabilir ama maliyeti yükseltiyor.
  • 28-12-2023, 20:10:03
    #16
    Misafir adlı üyeden alıntı: mesajı görüntüle
    Buyrun hocam
    const fs = require('fs')
    const axios = require('axios')
    function parseHeaders(requestString) {
        console.log(requestString);
        const headers = requestString.split('\n').slice(1, -2);
        let userAgent, cookie;
        headers.forEach(header => {
            const [key, value] = header.split(': ');
            if (key.toLowerCase() === 'user-agent') {
                userAgent = value;
            } else if (key.toLowerCase() === 'cookie') {
                cookie = value;
            }
        });
        userAgent = userAgent.replace(/[^\t\x20-\x7e\x80-\xff]/g, '')
        cookie = cookie.replace(/[^\t\x20-\x7e\x80-\xff]/g, '')
        return { userAgent, cookie };
    }
    
    
    const start = async () => {
        var got = await import('cloudflare-scraper')
        got = got.default
        var url = "https://www.000webhost.com/cpanel-login"
        const response = await got.get(url);
        const { userAgent, cookie } = parseHeaders(String(response.request._request._header));
        console.log('Agent ve cookie alındı.');
        axios.get(url, {
            withCredentials: true,
            headers: {
                "Cookie": cookie,
                'User-Agent': userAgent
            }
        }).then(response => {
            // console.log(response.data);
            console.log('Site başarıyla kazındı.');
            fs.writeFileSync('./response.html', String(response.data))
        })
            .catch(err => {
                console.log(err.message);
            })
    }
    start()


    bu şekilde hata alıyorum hocam sebebi ne olabilir
  • 28-12-2023, 20:58:05
    #17
    İyi forumlar
  • 29-12-2023, 01:45:01
    #18
    Sorunumu çözdüm. Konu kapatılabilir.