Bot yapımında kullanılabilecek "Google gibi getir" mantıyla çalışan CURL fonksiyonu

Merhabalar,

Birçok site botlara karşı önlem almakta bu durumda siz arkadaşlar için kendi kullandığım ve Googlebot gibi davranan "Google gibi getir CURL bot" fonksiyonunu sizlerle paylaşmak istedim. Kendi hazırladığım bu fonksiyon ile GoogleBot'un siteye geldiğinde verdiği bilgileri kullanarak hazırladım. Umarım işinize yarar, bir yere kayıt etmekte bir sıkıntı olmaz

Uyarılar:
- "CURLOPT_TIMEOUT" değerini kendinize göre ayarlamayı unutmayın.
- "CURLOPT_RETURNTRANSFER" değerini kendinize göre ayarlamayı unutmayın.

function GoogleBot($url)
{
	/*
	* (C) Copyright 2014 Anılcan ÇAKIR.
	* E-Mail:  posta@anilcancakir.com
	* Website: www.anilcancakir.com
	*/
	
	$header[0] = 'Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5';
	$header[] = 'Cache-Control: max-age=0';
	$header[] = 'Connection: keep-alive';
	$header[] = 'Keep-Alive: 300';
	$header[] = 'Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7';
	$header[] = 'Accept-Language: en-us,en;q=0.5';
	$header[] = 'Pragma:';
	
	$curl = curl_init();	
	curl_setopt($curl, CURLOPT_URL, $url);
	curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)');
	curl_setopt($curl, CURLOPT_HTTPHEADER, $header);
	curl_setopt($curl, CURLOPT_REFERER, 'http://www.google.com');
	curl_setopt($curl, CURLOPT_ENCODING, 'gzip,deflate');
	curl_setopt($curl, CURLOPT_AUTOREFERER, true);
	curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
	curl_setopt($curl, CURLOPT_TIMEOUT, 10);
	$body = curl_exec($curl);
	curl_close($curl);
	
	return $body;
}

emeğinize sağlık. mutlaka işe yarar.

Güzel çalışma, teşekkürler.