Mesele sadece google botları değil ki hocam, bunun seo analiz aracı botu var, adsense, ads botları var, en basitinden medium botu bile var.
Her element için kendi önerdikleri yolla kural girmek lazım, bazıları dediğim gibi ip-hostname tabanlı bazıları useragent'la yapıyor ama artık çoğu IP bloklarını yayınlıyor.