Mozilla/5.0 (compatible; Googlebot/2.1) botunu google sitemap, rss ve dns doğrulamasından sonra ilgili sayfalara gönderir, fakat sadece o amaçla kullanılmaz sayfaları taramak içinde kullanılır, misal x sayfasına google hem bu botu hem de mobil botunu gönderir.
Sitemap'da sürekli link dönderirsen bu bot sitemapı daha çok tarar fakat yüksek olmasının asıl nedeni sayfalarıda tarıyor olması.
Bu bot ile gelip index verdiğini daha görmedim. bu bot geldikten sonra asıl tarama botunu ( mobil olan >Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/140.0.7339.127 Mobile Safari/537.36 (compatible; Googlebot/2.1; +
http://www.google.com/bot.html) ) bu botu maplerin içindeki linklere tekrar gönderince index veriyor.
hatta ref olarakta sitemap gösteriyor %99 unda.
Bu botun çok fazla gelmesi tarama limitini etkilermi veya google gözünde çok fazla manipüle değerlendirmesi olurmu ? her domaine ortalama dakikada 500-600 civarı geliyor diyebilirim.