Bu site cURL bağlantısını nasıl engelledi?

28-01-2018, 22:43:36

merhaba http://www.freeproxylists.net/ bu site curl ile bağlandığında hemen robot kontrolü çıkıyor. bu şekilde kendi siteme nasıl yapabilirim? ne yaptıysam giremedim siteye.

28-01-2018, 22:51:29

#2

serefayazgun

İp kontrolü koymuş olabilir. Belli bir sayıda post gönderdiğinde robot kontrolü çıkıyordur.
Web siteniz index alması gereken bir yapıya sahip ise ip üzerinden engelleme yapmak Google,Yandex gibi botları da engelleyebilir. İyi bir yapı kurup ip engelleme işlemi yapabilirsiniz. Google ders DNS ile google botların ayırt edilebileceğini söylüyor. Ama diğer botlar için bu durum geçerli mi emin değilim.

29-01-2018, 17:16:34

#3

yassey

şuan görmüş olduğum önlem sadece http isteğinin bir sunuya, headerda hangi parametreler gidiyorsa onları istemekte. yani tarayıcı bilgisi, accept, connection, language gibi bilgileri istemekte. tabi buda aşılmıyacak birşey değil, örnek olarak verdigim kodlarla aşıldığını görebilirsin.

<?php

$url = 'http://www.freeproxylists.net/';

$header = [
    'Host: www.freeproxylists.net',
    'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0',
    'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language: tr-TR,tr;q=0.8,en-US;q=0.5,en;q=0.3',
    'Connection: keep-alive',
    'Upgrade-Insecure-Requests: 1'
];

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_HTTPHEADER, $header);
$result = curl_exec($ch);
curl_close($ch);

print_r($result);

?>

29-01-2018, 21:12:41

#4

Mehmet4226

yassey adlı üyeden alıntı: mesajı görüntüle

şuan görmüş olduğum önlem sadece http isteğinin bir sunuya, headerda hangi parametreler gidiyorsa onları istemekte. yani tarayıcı bilgisi, accept, connection, language gibi bilgileri istemekte. tabi buda aşılmıyacak birşey değil, örnek olarak verdigim kodlarla aşıldığını görebilirsin.

<?php $url = 'http://www.freeproxylists.net/'; $header = [ 'Host: www.freeproxylists.net', 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0', 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Language: tr-TR,tr;q=0.8,en-US;q=0.5,en;q=0.3', 'Connection: keep-alive', 'Upgrade-Insecure-Requests: 1' ]; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_HTTPHEADER, $header); $result = curl_exec($ch); curl_close($ch); print_r($result); ?>

peki hocam bunu yazdığım zaman ip adresleri gözükmüyor. bunların kırılma ihtimali var mı? şifrelemiş sanırım jquery ile
edit: kırıldı. bunlar nasıl sistem böyle. robotları engellemek neredeyse imkansız