Botla veri çekildiği anlaşılır mı ?

Arkadaşlar öğrenmek istediğim, mesela bir php bot ile karşı siteden veri çekiyoruz diyelim, karşı site bot ile veri çekildiğini anlayabilirmi bir şekilde
ve botun ulaşmasını ıp kısıtlayarak engeleyebilirmi karşı taraf

(çünkü botu site üzerinden çalıştırıyoruz bu durumda botun görünen ıp kaynağı bizim sitenin server'i mı olmakta)

bilgi veren arkadaşlar sevinirim teşekkürler...

google arama sonuçları ile birebri örtüşünce anlaşıyor, mesela sen çektiğin siteye özgün bir başlık veya yazıyı çekmişsen site sahibi eleman google aradığı zaman bulursa, bu işin peşine düşer bi ihtimal

anlaşılır tabii ama karşı tarafın bilgi birikimine bağlı.

Yok arkadaşlar ben konu adına yada içeriğe göre googlede yada diğer arama motorlarıyla aranması durumunu demiyorum o ayrı

Benim asıl bilmek istediğim site yetkilisi direk botun hangi siteden çalıştırılıp geldiğini ve geldiği sitenin ıp sini görebilirmi böyle bir yol varmı ne bileyim mesela analytics yada bunun gibi programlar botun geldiği yolu gösterirmi

Çünkü dün çalışan bir bot hiç bir sorun yokken bugün birden karşıdan konu alamamaya başladı oysaki farklı bir hosttan denendiğinde konu alıyor acaba admin panellerinden hangi site üzerinden geldiği görüne bilirmi botun ve gelen sitenin ıp si bulunup ip ye ban konulmuş olabilirmi

Bot yazan arkadaşlar butür konulardan haberdardır diye sormak istedim

belkide tek seferde konuları google ile aratıyordur yani icerige bakıyordur embed kodu aynımı tabi bakmıştır sende 20 30 tane video başlık embed aynı panelden sitenin ipsine ban atmıştır zor birşey degil fazla bilgim yok domain ip degişikligi hakkında

proxy komutları var istersen p.m atabilirim. tabikide konuyu takip etmiycegimden istediğinde p.m at. random olarak proxy lerle bağlattıgında karşı tarafın ruhu bile duymaz duysada nereye cektigini bilmiycektir. google karşımı marşımı dersen elimde bir txt var vakit zamana filan dönüşcek şekilde özgün yapıyor konuyu. onu parayla satıyorum ama iyiakşamlar

curl kullanacaksın referer vereceksin file_get sakat

biraz bu konuyu açabilirmisiniz acaba nasıl olacak bu durum ve bu uygulanırsa kesinlikle nereden gelindiği görülemezmi domain ıp falan

Hocam sizin bu konudaki örneği uyguladım izninizle tabi

https://www.r10.net/php/374413-curl-r...-sorunu-2.html

bu şekilde veriler sorunsuz çekilmekte curl referer ile demek istediğiniz tam olarak bumuydu acaba birde bu şekilde kullanıldığında hangi domain üzerinden çekildiği görülmez mi ve bu şekilde ip ban olayından kurtulabilirmiyim

$sitemiz ="http://site.com"; 
 function cek_al($al){ 
        global $sitemiz; 
        $ch = curl_init(); 
        $timeout = 0; 
        curl_setopt ($ch, CURLOPT_URL, $al); 
    curl_setopt($ch, CURLOPT_REFERER, $sitemiz);  
    curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 5.1; tr; rv:1.8.1) Gecko/20061010 Firefox/2.0"); 
        curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); 
        curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout); 
        $gel= curl_exec($ch); 
        curl_close($ch); 
        return $gel; 
    } 
$kay = cek_al("$sitemiz"); 
        preg_match('#<TITLE>(.*?) - .*?</TITLE>#si',$kay, $adi); 
echo $adi[1];

burada curl_setopt($ch, CURLOPT_REFERER, $sitemiz); kısmında referer olarak başka sahte site gösterilse oluyormu gelinen yerin belli olmaması açısından


Teşekkürler...

olay referrer değil senin ip adresinle ilgili. şimdi şöyle anlatayım. normalde server kiralama, dedicated ip vs almadıysan, yani normal küçük bir hosting aldıysan senin sitenin bulunduğu server ın ip adresi ile bir site açılmaz. sadece server veya kontrol panelinin default sayfası çıkar. dolayısıyla karşı tarafta sadece bu ip adresi olur. senin sitenin adresi olmaz. gerçi ip reverse listeleri var. bir ip üzerinde kaç site bulunduğunu listeliyorlar. ama bir server da 100 lerce 1000 lerce site bulunabildiği için onların arasından senin siteyi bulması zor olur.

ama daha büyük bir siten varsa. sitene direk ip adresinden de ulaşılabiliyorsa. örneğin ekşisözlük 84.44.114.44. bu durumda karşı taraf adres çubuğuna ip adresini girince direk senin site çıkar.

her halükarda site banlama gibi birşey olmaz. direk ip banlanır. bu ip, log kayıtlarında bulunur ve kısa sürede çok fazla sayfa isteğinde bulunduğu için direk göze çarpar. ondan sonra ip adresini banlamak çok kolay.

bunun önüne bir nebze olsun geçmek için sayfaları curl ile çekmelisin. curl komutlarının arasında proxy ile siteye bağlanma seçenekleri de var. internetten proxy listesi bulup, bunları kullanarak sayfaları çekebilirsin.