Google botları öncelerde dediğiniz gibi kullanılıyordu artık böyle bir sıkıntısı kalmadı.

Yandex vb. botları engellemenizi de önermem paylaşımsız bir hosting isteklere çok rahat cevap verecektir.

Ama illa yavaşlasın diyorsanız bunu hosting firmanız ile görüşün ona göre dakika saat / istek bazında firewall kuralı oluşturabilirler.
Komple engellemek için
.htaccess içine aşağıdaki kodu yapıştırın.

SetEnvIfNoCase User-agent (yandex|baidu|foobar) not-allowed=1

Order Allow,Deny
Allow from ALL
Deny from env=not-allowed