Google botlarının girmesini ismediğin siteni .htacces dosyasindan bu kodla engelleye bilirsin.

# <IfModule mod_headers.c>
# Header set X-Robots-Tag "noindex, nofollow, noarchive"
# <FilesMatch ".(doc|pdf|png|jpe?g|gif)$">
# Header set X-Robots-Tag "noindex, noarchive, nosnippet"
# </FilesMatch>
# </IfModule>