Proxy ile siteye veri yazdırma

05-08-2022, 16:28:34

Merhaba başka bir sitede olan bilgileri kendi sitemin veritabanına kaydetmek istiyorum. Bunu da belli aralıklarla değişen bir proxy listesi hazırlayıp veri çekmeyi proxy'ler üzerinden yapmak istiyorum. Ama buna dair bir kaynak bulamadım. Yardımcı olabilecek örnek verebilecek birileri var mı?

05-08-2022, 18:11:26

#2

TalhaSoftware

Hephaistos adlı üyeden alıntı: mesajı görüntüle

Merhaba başka bir sitede olan bilgileri kendi sitemin veritabanına kaydetmek istiyorum. Bunu da belli aralıklarla değişen bir proxy listesi hazırlayıp veri çekmeyi proxy'ler üzerinden yapmak istiyorum. Ama buna dair bir kaynak bulamadım. Yardımcı olabilecek örnek verebilecek birileri var mı?

Yaptırmak isterseniz anlatarak ücretli yardımcı olabilirim

05-08-2022, 22:02:39

#3

dev

Kurumsal Üye

Hephaistos adlı üyeden alıntı: mesajı görüntüle

Merhaba başka bir sitede olan bilgileri kendi sitemin veritabanına kaydetmek istiyorum. Bunu da belli aralıklarla değişen bir proxy listesi hazırlayıp veri çekmeyi proxy'ler üzerinden yapmak istiyorum. Ama buna dair bir kaynak bulamadım. Yardımcı olabilecek örnek verebilecek birileri var mı?

Rotating proxy almaniz yeterli.
Proxy adresi olarak ayni adresi kullanacaksiniz ama her requestte farkli ip ile hedef eriseceksiniz.

06-08-2022, 10:25:54

#4

lookout

fatbotter.com

function curl_function($url){
$proxy = '127.0.0.1:8888';
$proxyauth = 'user:password';

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_PROXYUSERPWD, $proxyauth);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 1);
$curl_scraped_page = curl_exec($ch);
curl_close($ch);
return $curl_scraped_page;
}

$url = 'http://www.baskasite.com';



$data = curl_function($url);

Çekeceğiniz her şey veriler $data değişkenin içindedir.

Bu aşamadan sonra da preg_match_all fonksiyonuyla almak istediğiniz verileri ayıklayıp değişkenlere atayacaksınız, ardından bu verileri veritabanına insert edeceksiniz.

08-08-2022, 16:03:38

#5

Hephaistos

lookout adlı üyeden alıntı: mesajı görüntüle

function curl_function($url){
$proxy = '127.0.0.1:8888';
$proxyauth = 'user:password';

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$url);
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_PROXYUSERPWD, $proxyauth);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 1);
$curl_scraped_page = curl_exec($ch);
curl_close($ch);
return $curl_scraped_page;
}

$url = 'http://www.baskasite.com';



$data = curl_function($url);

Çekeceğiniz her şey veriler $data değişkenin içindedir.

Bu aşamadan sonra da preg_match_all fonksiyonuyla almak istediğiniz verileri ayıklayıp değişkenlere atayacaksınız, ardından bu verileri veritabanına insert edeceksiniz.

Ben bu kodlar ile çekiyorum. Daha önce hiç curl kullanmadığım için nasıl yapacağımı çözemedim.

08-08-2022, 16:05:19

#6

lookout

fatbotter.com

Hephaistos adlı üyeden alıntı: mesajı görüntüle

Ben bu kodlar ile çekiyorum. Daha önce hiç curl kullanmadığım için nasıl yapacağımı çözemedim.

Merhaba hocam, sizin de kodlarınızda curl ile işlemler yapılıyor. Kodlarınızın düzenlenmesi gerekiyor. Profesyonel destek almak isterseniz yardımcı olabilirim.