Curl ile alt sayfalardan veri çekmek.

Hazır çalışan botum karşı siteden file_get_contents ile veri çekemiyor. Veri çektiğim site kendince bir kaç güvenlik önlemi geliştirmiş. Curl ile user agent belirleyip veri çekmeye çalıştığımda sadece tek bir sayfadan çekebiliyorum.

Botun çalışma mantığını hızlıca anlatayım. 123.com sitesinin ana sayfasına bağlanıp alt kategorilerin linklerini sıralıyor. Gelen linklere tıkladığımda eklemek istediğim içeriği işaretleyip ekle butonuna basıyorum.

Ana sayfa sorunsuz geliyor fakat alt sayfalar boş geliyor. Denediğim kod ile sadece 1 ana sayfadan curl ile veri çekiliyor diğer sayfalara user agent ile bağlanamadığım için boş dönüyor.

DenediÄŸim kod ÅŸu;

    $ch = curl_init();
    curl_setopt ($ch,CURLOPT_USERAGENT,"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.168 Safari/535.19");  
    curl_setopt($ch, CURLOPT_URL, "http://www.123.com);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    $data = curl_exec($ch);
    curl_close($ch);

Yardımlarınızı bekliyorum.

Oturum (session) mantığıyla çekmen gerekli. https://github.com/rmccue/Requests bu paket işine yarayacaktır.

Teşekkürler benim için daha basit bir yol buldum.

ini_set("user_agent","Opera/9.80 (Windows NT 6.1; U; Edition Campaign 21; en-GB) Presto/2.7.62 Version/11.00");

Şu anda file_get_contents ile rahat şekilde çekebilyorum.