https den veri çekmek

Merhaba arkadaşlar ,

simple html dom ile veri çekerken https bir sayfadan null değer dönüyor. Aşağıdaki gibi curl kodlarıyla çekmeye çalıştığımda ise aşağıdaki gibi şifreli olarak veriyor kodları. Sanırım bot kontrolü var , bunu nasıl aşabiliriz..

<title>xxx - Security Check</title> <style type="text/css">@font-face{font-family:'Roboto Condensed';font-style:normal;font-weight:400;src:local('Roboto Condensed'),local('RobotoCondensed-Regular'),url(data:application/octet-stream;charset=binary;base64,d09GRgABAAAAADOoAA8AA AAATSwAA vs..vs..vs..

$curl = curl_init();
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, FALSE);
curl_setopt($curl, CURLOPT_HEADER, false);
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($curl, CURLOPT_URL, $base);
curl_setopt($curl, CURLOPT_REFERER, $base);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, TRUE);
$str = curl_exec($curl);
curl_close($curl);
$html_code = new simple_html_dom();
$html_code->load($str);


Not: Python ile denedim sorunsuz şekilde kodlar çekti (requests modülü) , php den neden sorun çıktı anlamadım...

Veri çekimi yaptığınız siteyi ve neye göre filtreleme yaptığını bilmediğimizden dolayı aşağıdaki seçenekleri önerebiliriz.

Örnekler;

1) Cookie sağlıyarak erişim yapmayı deniyebilirsiniz.
2) User-Agent ile tarayıcı tanımı yapabilirsiniz.

bknz: https://github.com/rmccue/requests session oluşturup oradan sırasıyla post ederek asıl sayfaya atlayabilirsin. biraz uğraştırır ama yaparsın.