Tarayıcı üzerinden siteye direk girişi engelliyorum ve kullanıcılar google üzerinden siteye giriş yapabiliyorlar aslında tam istediğim bu fakat yeni konu eklendiği zaman google ve diğer botlar siteyi boş sayfa olarak görüyor "HTTP_REFERER" botlarıda engelliyor sanırsam
Botlara da izin vermen gerekiyor dostum.
mesela şu şekilde normal googleden giriş aldın diyelim tamamen örnek için gösteriyorum farklı şekilde de yapabilirsin.
$ref = $_SERVER['HTTP_REFERER'];
if ($ref == "https://www.google.com.tr" ) {
//Giriş Serbest
}else{
//Yasak
}burada bootlara izin vermediğin sürece sayfanı taramadığı için bu durumda içeriklerin ister istemez engellenecek.
bir agent yazıp bunu giriş izni içerisinde bot mu değilmi diye kontrol ettirmen gerekiyor.
mesela
$Bot = array(
'Google' => 'Googlebot/2.1 +http://www.googlebot.com/bot.html',
'Bingbot'=> 'Mozilla/5.0 compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm',
'Yahoo' => 'Mozilla/5.0 compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp',
);ile aldın varsayalım bunu refferer ile kontrol ettiriceksin bot mu ? eğer bot ise girsin siteye indexlemeye devam etsin.
mantık bu şekilde kolay gelsin