sitenizin günlük onbinlerce hit almadığını düşünerek söylüyorum, her giren ziyaretçinin ip adresine rdns sorgusu yapabilirsiniz, sorgu sonucu googlebot görünenlere izin verdirilebilir.

https://support.google.com/webmaster...er/80553?hl=tr adresinden bakabilirsiniz, aynı yöntemi diğer arama motorları içinde uygulayabilirsiniz, ancak hiti yüksek sitelerde bu işlem sıkıntı çıkaracaktır.