Sitelerim arşivlenmesin diye kullandığım kod ve arşiv botlarını sitemde boş bir sayfaya yönlendiririm genelde.
# BLOCK BAD BOTS START
RewriteEngine On
RewriteCond %{REQUEST_URI} !/robots.txt$
RewriteCond %{HTTP_USER_AGENT} ^$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*archive.org_bot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*archive.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*ia_archiver.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BlekkoBot.*$ [NC]
RewriteRule ^.*.*
https://www.domain.com/spm.html [L]
# BLOCK BAD BOTS END
ama sizin için kodu bozmadan sadece alttaki kodda ekstra googlebotlarını yönlendirdim yenisite.com kendi sitenizle değiştirerek .htaccess en altına yapıştırın..
# BLOCK BAD BOTS START
RewriteEngine On
RewriteCond %{REQUEST_URI} !/robots.txt$
RewriteCond %{HTTP_USER_AGENT} ^$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*archive.org_bot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*archive.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*ia_archiver.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Googlebot.*$ [NC]
RewriteRule ^.*.*
https://www.yenisite.com [L]
# BLOCK BAD BOTS END