Botlara da izin vermen gerekiyor dostum.

mesela şu şekilde normal googleden giriş aldın diyelim tamamen örnek için gösteriyorum farklı şekilde de yapabilirsin.

$ref = $_SERVER['HTTP_REFERER'];
if ($ref == "https://www.google.com.tr" ) {
//Giriş Serbest
}else{
//Yasak
}

burada bootlara izin vermediğin sürece sayfanı taramadığı için bu durumda içeriklerin ister istemez engellenecek.

bir agent yazıp bunu giriş izni içerisinde bot mu değilmi diye kontrol ettirmen gerekiyor.

mesela

 
$Bot = array(
    'Google' => 'Googlebot/2.1 +http://www.googlebot.com/bot.html',
    'Bingbot'=> 'Mozilla/5.0 compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm',
    'Yahoo' => 'Mozilla/5.0 compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp',
    
);

ile aldın varsayalım bunu refferer ile kontrol ettiriceksin bot mu ? eğer bot ise girsin siteye indexlemeye devam etsin.
mantık bu şekilde kolay gelsin