php hepsi burada curl bot yardm

Question

'https://www.hepsiburada.com/kampanyalar/cok-satan-kitaplar', CURLOPT_RETURNTRANSFER => true, CURLOPT_REFERER => "https://google.com.tr/", CURLOPT_USERAGENT => "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36" ]); $cek = curl_exec($curl); $cek = preg_replace("/\s+/", " ", $cek); preg_match_all('@

(.*?)

@si', $cek, $sonuc); curl_close($curl); echo"

";
print_r($sonuc);
echo "

"; ?>üstteki kodu yazarak hepsi burada sitesinde verdiğim linkten alttaki kısmı çekmeye çalışıyorum fakat veri boş dönüyor nedenini bilen yardım edebilecek biri var mı?

bostanci96 · Answer

DarkBy adlı üyeden alıntı: mesajı görüntüle 'https://www.hepsiburada.com/kampanyalar/cok-satan-kitaplar', CURLOPT_RETURNTRANSFER => true, CURLOPT_REFERER => "https://google.com.tr/", CURLOPT_USERAGENT => "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36" ]); $cek = curl_exec($curl); $cek = preg_replace("/\s+/", " ", $cek); preg_match_all('@

(.*?)

@si', $cek, $sonuc); curl_close($curl); echo"

";
print_r($sonuc);
echo "

"; ?>üstteki kodu yazarak hepsi burada sitesinde verdiğim linkten alttaki kısmı çekmeye çalışıyorum fakat veri boş dönüyor nedenini bilen yardım edebilecek biri var mı? Dilerseniz sizin için botu yazabilirim

umutsoykan77 · Answer

simple dom html hocam bu kütüphaneyi kullanmanı tavsiye ederim kullanımı oldukça basit

Reskup · Answer

umutsoykan77 adlı üyeden alıntı:						mesajı görüntüle									simple dom html hocam bu kütüphaneyi kullanmanı tavsiye ederim kullanımı oldukça basit 		hocam verdiğim koda uyarlama şansınız var mı deniyorum fakat ayrıştırmada kullanamıyorum?

Reskup · Answer

bostanci96 adlı üyeden alıntı:						mesajı görüntüle									Dilerseniz sizin için botu yazabilirim 		hocam ben öğrenmek istiyorum ya.

umutsoykan77 · Answer

DarkBy adlı üyeden alıntı:						mesajı görüntüle									hocam verdiğim koda uyarlama şansınız var mı deniyorum fakat ayrıştırmada kullanamıyorum? 		Dediğim kütüphaneye ulaşırsanız kodunuz zaten boşa çıkıyor  büyük konuşmayayım ama çogu bot yazan arkadaşta bunu kullanıyor

Reskup · Answer

umutsoykan77 adlı üyeden alıntı:						mesajı görüntüle									Dediğim kütüphaneye ulaşırsanız kodunuz zaten boşa çıkıyor  büyük konuşmayayım ama çogu bot yazan arkadaşta bunu kullanıyor 		hocam curl yapısında user-agent ayarlamak referer gibi bir çok ayar yapıldığından dolayı curl ile devam ediyorum fakat ayrıştırmada dom kullanabilirsem ancak olabilir.

Reskup · Answer

umutsoykan77 adlı üyeden alıntı:						mesajı görüntüle									Dediğim kütüphaneye ulaşırsanız kodunuz zaten boşa çıkıyor  büyük konuşmayayım ama çogu bot yazan arkadaşta bunu kullanıyor 		aynı zamanda şuan denediğimde hocam belirttiğim sayfayı dom ile çekemiyorum boş dönüyor.

MoRTaLCoDeR · Answer

DarkBy adlı üyeden alıntı: mesajı görüntüle 'https://www.hepsiburada.com/kampanyalar/cok-satan-kitaplar', CURLOPT_RETURNTRANSFER => true, CURLOPT_REFERER => "https://google.com.tr/", CURLOPT_USERAGENT => "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36" ]); $cek = curl_exec($curl); $cek = preg_replace("/\s+/", " ", $cek); preg_match_all('@

(.*?)

@si', $cek, $sonuc); curl_close($curl); echo"

";
print_r($sonuc);
echo "

"; ?>üstteki kodu yazarak hepsi burada sitesinde verdiğim linkten alttaki kısmı çekmeye çalışıyorum fakat veri boş dönüyor nedenini bilen yardım edebilecek biri var mı? en alltaki kodlarini şununla degis: echo"

";
print_r($sonuc[0][1]);
echo"
";
print_r($sonuc[1][1]);
echo "

";

Riga · Answer

SSL bulunduran sitelerde curl ile bağlantı yaparken SSL doğrulamasını pasif yapmalısınız.

CURLOPT_SSL_VERIFYPEER => false

Son hali;

$curl = curl_init();
curl_setopt_array($curl, [
   
    CURLOPT_URL => 'https://www.hepsiburada.com/kampanyalar/cok-satan-kitaplar',
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_SSL_VERIFYPEER => false,
    CURLOPT_REFERER => "https://google.com.tr/",
    CURLOPT_USERAGENT => "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"
   
]);
   
$cek = curl_exec($curl);
$cek = preg_replace("/\s+/", " ", $cek);
   
preg_match_all('@<div class="box product" data-bind="(.*?)">(.*?)</div>@si', $cek, $sonuc);
  
   
curl_close($curl);
   
echo"<pre>";
print_r($sonuc);
echo "</pre>";

(.*?)

@si', $cek, $sonuc); curl_close($curl); echo"

";
print_r($sonuc);
echo "

";

Reskup · Answer

MoRTaLCoDeR adlı üyeden alıntı: mesajı görüntüle en alltaki kodlarini şununla degis: echo"

";
print_r($sonuc[0][1]);
echo"
";
print_r($sonuc[1][1]);
echo "

"; Riga adlı üyeden alıntı: mesajı görüntüle SSL bulunduran sitelerde curl ile bağlantı yaparken SSL doğrulamasını pasif yapmalısınız. CURLOPT_SSL_VERIFYPEER => falseSon hali; $curl = curl_init(); curl_setopt_array($curl, [ CURLOPT_URL => 'https://www.hepsiburada.com/kampanyalar/cok-satan-kitaplar', CURLOPT_RETURNTRANSFER => true, CURLOPT_SSL_VERIFYPEER => false, CURLOPT_REFERER => "https://google.com.tr/", CURLOPT_USERAGENT => "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36" ]); $cek = curl_exec($curl); $cek = preg_replace("/\s+/", " ", $cek); preg_match_all('@

(.*?)

@si', $cek, $sonuc); curl_close($curl); echo"

";
print_r($sonuc);
echo "

"; malesef bu çözümler işe yaramadı.

Riga · Answer

DarkBy adlı üyeden alıntı: mesajı görüntüle malesef bu çözümler işe yaramadı. Aslına çözümlerin işe yaramaması değil yazdığınız kodların hatalı olması problem. SSL konusunda söylediğimi mutlaka yapmalısınız. Neden çalışmadığına gelecek olursak; $cek değişkenini ekrana yazdırdığınızda verilerin geldiğini görebilirsiniz. Ama yazdığınız regex ifadesi hatalı. preg_match_all('@

(.*?)

@si', $cek, $sonuc);Bu şekilde olması gerekir. ilgili divin classına ekler olabiliyor örneğin; "hb-placeholder" gibi. Düzenli ifadeleri ve phpyi öğrenmeden bunları araştırmak yanlış adım..

MoRTaLCoDeR · Answer

DarkBy adlı üyeden alıntı: mesajı görüntüle 'https://www.hepsiburada.com/kampanyalar/cok-satan-kitaplar', CURLOPT_RETURNTRANSFER => true, CURLOPT_REFERER => "https://google.com.tr/", CURLOPT_USERAGENT => "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36" ]); $cek = curl_exec($curl); $cek = preg_replace("/\s+/", " ", $cek); preg_match_all('@

(.*?)

@si', $cek, $sonuc); curl_close($curl); echo"

";
print_r($sonuc);
echo "

"; ?>üstteki kodu yazarak hepsi burada sitesinde verdiğim linkten alttaki kısmı çekmeye çalışıyorum fakat veri boş dönüyor nedenini bilen yardım edebilecek biri var mı? suan telefondan bakiyorum pc de degilim. sunu denermisiniz. _______________________ echo"

";
print_r($sonuc);
echo "

"; ________________________ yukardaki kodlari asagadakilerle degisin _______________________ echo"

";
print_r($cek);
echo "

"; _________________________ bu degisikligi yaptiniz ve tum siteyi cekiyorsa, cozumu var.

Reskup · Answer

Riga adlı üyeden alıntı: mesajı görüntüle Aslına çözümlerin işe yaramaması değil yazdığınız kodların hatalı olması problem. SSL konusunda söylediğimi mutlaka yapmalısınız. Neden çalışmadığına gelecek olursak; $cek değişkenini ekrana yazdırdığınızda verilerin geldiğini görebilirsiniz. Ama yazdığınız regex ifadesi hatalı. preg_match_all('@

(.*?)

@si', $cek, $sonuc);Bu şekilde olması gerekir. ilgili divin classına ekler olabiliyor örneğin; "hb-placeholder" gibi. Düzenli ifadeleri ve phpyi öğrenmeden bunları araştırmak yanlış adım.. dediğiniz şekilde daha önceden denedim fakat tam istediğim içeriği vermedi bu şekilde sizin dediğiniz gibi yaptığımızda istediğimiz yeri elde edemiyoruz bu yüzden kodu atmadan denemelisiniz bence hocam.

Riga · Answer

DarkBy adlı üyeden alıntı: mesajı görüntüle

<?php
  
$curl = curl_init();
curl_setopt_array($curl, [
  
    CURLOPT_URL => 'https://www.hepsiburada.com/kampanyalar/cok-satan-kitaplar',
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_REFERER => "https://google.com.tr/",
    CURLOPT_USERAGENT => "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"
  
]);
  
$cek = curl_exec($curl);
 
$cek = preg_replace("/\s+/", " ", $cek);
  
  preg_match_all('@<div class="box product" data-bind="(.*?)">(.*?)</div>@si', $cek, $sonuc);
 
  
curl_close($curl);
  
echo"<pre>";
print_r($sonuc);
echo "</pre>";
  
 ?>

üstteki kodu yazarak hepsi burada sitesinde verdiğim linkten alttaki kısmı çekmeye çalışıyorum fakat veri boş dönüyor nedenini bilen yardım edebilecek biri var mı?

suan telefondan bakiyorum pc de degilim.
sunu denermisiniz.

_______________________
echo"<pre>";
print_r($sonuc);
echo "</pre>";
________________________
yukardaki kodlari asagadakilerle degisin

_______________________

echo"<pre>";
print_r($cek);
echo "</pre>";
_________________________
bu degisikligi yaptiniz ve tum siteyi cekiyorsa, cozumu var.

(.*?)@si', $cek, $sonuc); curl_close($curl); echo"

";
print_r($sonuc);
echo "

"; ?>

Reskup · Answer

Riga adlı üyeden alıntı: mesajı görüntüle

SSL bulunduran sitelerde curl ile bağlantı yaparken SSL doğrulamasını pasif yapmalısınız.

CURLOPT_SSL_VERIFYPEER => false

Son hali;

$curl = curl_init();
curl_setopt_array($curl, [
  
    CURLOPT_URL => 'https://www.hepsiburada.com/kampanyalar/cok-satan-kitaplar',
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_SSL_VERIFYPEER => false,
    CURLOPT_REFERER => "https://google.com.tr/",
    CURLOPT_USERAGENT => "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"
  
]);
  
$cek = curl_exec($curl);
$cek = preg_replace("/\s+/", " ", $cek);
  
preg_match_all('@<div class="box product" data-bind="(.*?)">(.*?)</div>@si', $cek, $sonuc);
  
  
curl_close($curl);
  
echo"<pre>";
print_r($sonuc);
echo "</pre>";

Hocam öncelikle Pc başına yeni geçtim.
Sorun hepsiburada.com un botları engellemesinden kaynaklı. şuanda kimse verileri çekemiyor. google.com da aratırsanız kimsenin veri çekemediğini görebilirsiniz..

ben ufak bi uğraş sonucunda bot engelini aştım. örnek sizin istediğiniz kısım : http://arabulara.byethost7.com/cek.php

şimdi kodları paylaşmam hepsiburada.com adına etik olmaz..
lutfen kodları istemeyiniz.. (ilerdeki projem için bana lazım, anlayışınız için teşekkürler.)

(.*?)@si', $cek, $sonuc); curl_close($curl); echo"

";
print_r($sonuc);
echo "

"; ?> emekleriniz için sağolun.

MoRTaLCoDeR · Answer

Riga adlı üyeden alıntı: mesajı görüntüle

Aslına çözümlerin işe yaramaması değil yazdığınız kodların hatalı olması problem.

SSL konusunda söylediğimi mutlaka yapmalısınız. Neden çalışmadığına gelecek olursak;

$cek değişkenini ekrana yazdırdığınızda verilerin geldiğini görebilirsiniz. Ama yazdığınız regex ifadesi hatalı.

preg_match_all('@<div class="box product (.*?)" data-bind="(.*?)">(.*?)</div>@si', $cek, $sonuc);

Bu şekilde olması gerekir. ilgili divin classına ekler olabiliyor örneğin; "hb-placeholder" gibi.

Düzenli ifadeleri ve phpyi öğrenmeden bunları araştırmak yanlış adım..

(.*?)

@si', $cek, $sonuc); curl_close($curl); echo"

";
print_r($sonuc);
echo "

"; Hocam öncelikle Pc başına yeni geçtim. Sorun hepsiburada.com un botları engellemesinden kaynaklı. şuanda kimse verileri çekemiyor. google.com da aratırsanız kimsenin veri çekemediğini görebilirsiniz.. ben ufak bi uğraş sonucunda bot engelini aştım. örnek sizin istediğiniz kısım : http://arabulara.byethost7.com/cek.php şimdi kodları paylaşmam hepsiburada.com adına etik olmaz.. lutfen kodları istemeyiniz.. (ilerdeki projem için bana lazım, anlayışınız için teşekkürler.)

Riga · Answer

MoRTaLCoDeR adlı üyeden alıntı:						mesajı görüntüle									Hocam öncelikle Pc başına yeni geçtim.
Sorun hepsiburada.com un botları engellemesinden kaynaklı. şuanda kimse verileri çekemiyor. google.com da aratırsanız kimsenin veri çekemediğini görebilirsiniz..

ben ufak bi uğraş sonucunda bot engelini aştım.  örnek sizin istediğiniz kısım : http://arabulara.byethost7.com/cek.php

şimdi kodları paylaşmam hepsiburada.com adına etik olmaz.. 
lutfen kodları istemeyiniz..  (ilerdeki projem için bana lazım, anlayışınız için teşekkürler.) 		Herhangi bir engelleme söz konusu değil.

MoRTaLCoDeR · Answer

Riga adlı üyeden alıntı:						mesajı görüntüle									Herhangi bir engelleme söz konusu değil. 		madem öyle.
bir sitenizde cek.php yapıp benim gibi demo atarmısınız?

Riga · Answer

MoRTaLCoDeR adlı üyeden alıntı:						mesajı görüntüle									madem öyle.
bir sitenizde cek.php yapıp benim gibi demo atarmısınız? 		Neden böyle birşey yapayım ? Ayrıca localhost denelerimde böyle birşey söz konusu olmadı yine aynı şekilde 494.000 ürüne ait bilgi mevcut kendi çektiğim ip engelleme farklı birşey bot engelliyor demek farklı birşey.

MoRTaLCoDeR · Answer

Riga adlı üyeden alıntı:						mesajı görüntüle									Neden böyle birşey yapayım ? Ayrıca localhost denelerimde böyle birşey söz konusu olmadı yine aynı şekilde 494.000 ürüne ait bilgi mevcut kendi çektiğim ip engelleme farklı birşey bot engelliyor demek farklı birşey. 		hocam konuyu tartışmaya dönüştürmek istemiyorum. 
yorumunuzda "böyle birşey mümkün değil" ibaresini kullanmanız, benim söylediğimi çürütür konuma getiriyor.
bu yüzden size demo yapın benim gibi ozaman dedim..

lütfen yorum yaparken biraz daha dikkat edelim.. saygılar..

nurettinselcuk · Answer

https://github.com/Imangazaliev/DiDOM