Cevabı verilmez ama insan soruyor işte
13
●1.210
- 30-08-2014, 03:17:57Backlink saklamak istiyorsan eğer. robots.txt ile botların useragentlerini belirterek disallow edersin. Mesala benim sitemdede robts.txt ile engellenmiş durumda. Fakat moz un botu nedense bu kurala uymuyor. Uysa bile her rakibim robots.txt dosyasına göz atabilir. Bunu en güzel şekilde sunucu tarafında halletmek lazım. Aşağıdaki kodla yapılabilir.
$useragent = array('MJ12bot','rogerbot', 'AhrefsBot','SurveyBot'); foreach($useragent as $agent) { if(strpos($_SERVER['HTTP_USER_AGENT'],$agent) !== false) { die('Sana giriş yasak'); // Veya header ile google.com.tr ye veya youtube yönlendir :) } }Veya htaccess ilede yapılabilir.
RewriteEngine On RewriteCond %{HTTP_USER_AGENT} ^rogerbot [OR] RewriteCond %{HTTP_USER_AGENT} ^exabot [OR] RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR] RewriteCond %{HTTP_USER_AGENT} ^dotbot [OR] RewriteCond %{HTTP_USER_AGENT} ^gigabot [OR] RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot RewriteRule .* - [F]Farklı bir alternatif
SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot SetEnvIfNoCase User-Agent .*exabot.* bad_bot SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot SetEnvIfNoCase User-Agent .*dotbot.* bad_bot SetEnvIfNoCase User-Agent .*gigabot.* bad_bot SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot SetEnvIfNoCase User-Agent .*sitebot.* bad_bot <Limit GET POST HEAD> Order Allow,Deny Allow from all Deny from env=bad_bot </Limit>
Tabi rakibimizde bu işlemleri sunucu tarafında yapıp yapmadığını öğrenmemizinde yolları var.
"User Agent Switcher" mozilla addonu ile istediğimiz user agenti belirtebiliyoruz. ahrefs botun user agenti ile rakip siteye bir gir bakalım yönlendirme veya bir işlem varmı.
Veya kendi bir araçım olsun istersen php ilede yapabilirsin. Kodlar bana ait istediğin gibi kullanabilirsin.
error_reporting(E_ALL & ~E_NOTICE & ~E_STRICT); set_time_limit(0); ini_set('display_errors', 1); $header[0] = "Accept: text/xml,application/xml,application/xhtml+xml,"; $header[0] .= "text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5"; $header[] = "Cache-Control: max-age=0"; $header[] = "Connection: keep-alive"; $header[] = "Keep-Alive: 300"; $header[] = "Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7"; $header[] = "Accept-Language: en-us,en;q=0.5"; $header[] = "Pragma: "; $header[] = "X-Generate-Time:"; $curl =curl_init(); curl_setopt($curl, CURLOPT_URL,'http://www.domain.com/'); // girmek istediğin url. curl_setopt($curl, CURLOPT_SSL_VERIFYPEER,false); curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 0); curl_setopt($curl, CURLOPT_HEADER, true); curl_setopt($curl, CURLOPT_HTTPHEADER, $header); curl_setopt($curl, CURLOPT_FOLLOWLOCATION,1); curl_setopt($curl, CURLOPT_RETURNTRANSFER,0); curl_setopt($curl, CURLOPT_COOKIEJAR,dirname(__FILE__).'/kuki.txt'); curl_setopt($curl, CURLOPT_COOKIEFILE,dirname(__FILE__).'/kuki.txt'); curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)'); // botun user agenti gelicek direk şunuda yazabilirdik MJ12bot curl_setopt($curl, CURLOPT_REFERER, 'http://www.google.com.tr/'); $veri = curl_exec($curl); curl_close($curl);Bu tür kurumsal firmalar robot kurallarına uymalıdırlar. Uymayanları uyarınız. Fakat farklı bir user agent den gelirse ruhunuz bile duymaz. En güzeli ip adreslerini belirleyip ban atmaktadır
Onunda çözümü var. Bu iş uzar gider. Benden bu kadar.
Php kodları hariçindekiler alıntıdır. - 30-08-2014, 12:37:38Hocam diğer arkadaşlarımın yorumları için teşekkür ederim.
Google Caffeine diye birşeyi duydunuz mu? Çok öncelerde dillerdeydi. Ama bu hala geçerlidir. Google yeni açılan sitelere biraz Google heyecanı katmaları için belli bir süre öne çıkarır. Sonra aşağı çeker.
Nedeni şudur: 1. sayfaların tadını alan site sahibi 1. sayfaya bir daha zor çıkar.
- Ya Google'dan çok fayda aldım ama çıkamıyorum mantığı oluşur. O zaman Adwords ile ziyaretçi elde ederim der. Gider Adwords'e reklam verir. Bu sayede Google karlı çıkar
Yeni site hacklink alsa hemen fark edilir. Google Webmaster Tools aracında sitenize bağlantılar var. Google bir iki haftada anlar. Hacklink alan bana yarar aldım diye birşey söylemesin. Google Algoritması artık bir insan gibidir. Dahada gelişiyor. Düşünün Google sitenize gelen bağlantıları kısa sürede tanıyabiliyorsa hacklinki tespit edemez mi?
Onunda çözümü var. Bu iş uzar gider. Benden bu kadar.