bu gibi bir durumda yapılacak en mantıklı şeylerden biri hosting degiştirmektir bence.Kimi zeki hosting sahipleri googlebot çok band tüketiyor diye ip adresini blockluyor.
örnegin

ssh ile makinaya baglanıp

iptables -I INPUT -s 209.185.253.166 -j DROP

yazarsan 10 sene googlebot gelmez ve bunu yapmak 3 saniyelik iş.