Bu durumlardan önce 128 gb ram li sunucunun loadı max %1 - 5 arası oluyordu son 4-5 haftadır değişiklik yapmadığım halde ve 24 saat arayla log dosyalarını boşaltmama rağmen loadın %100-150 olup tekrar düştüğünü gözlemlediğim load'ın fırladığı anlarda google botlarının tacizine uğradığını farkettim.
Google indexte manipüleden dolayı ceza vermez, index verdiği sayfa sayısı çok olunca ceza verir, siteyi tarayan bu bot da tarama rakamlarını etkiler.
Hem mobil hem de web botları ikiside index veriyor. Senin sorduğun sorunun cevabı olarak ilk 1-2 gün tarama bütçesi açık oluyor bu sırada ne kadar bot gelirse senin faydana olan bir durum 2-3. Gün bot sayısı düşmeye başlıyor. Bu da tarama bütçesinden kaynaklı. Sitemapı okuyan botlar tarama bütçesini etkilemez.
2 side index veriyor ama mobil bot %99 index veriyor. web botu sadece sitemap taramaya geldiğinde geliyor
Sitemap botunu tarayan botların GSC raporunda taranan sayfalarda xml 'leri de taradığnı gözlemledim
Tarama limiti var bu net. Google sitemap taramaz, içerisindeki URL'yi tarar. Sende sıkıntı var. Google botunun gerçek bot olduğunu ip olarak doğrula ondan sonra tekrar bakalım. Sitemap boyutu ne kadar, kaç parçadan oluşuyor ?
Google ip 'lerini filtreliyorum evet gerçek ip den geliyorlar sitemap ortalama 20000 bayt ( sadece link dönüyor ) sql bağlantısı yok
1 den sonsuza kadar sitemap permalinki içerisi saçma kelimelerden oluşan tekrarlı sitemapler en son sitemaplerin içindede random permalinkler. ( içeriklere verilen linkler )
Ben de ip ve useragent tutuyorum. Sitemape Google crawl botu geliyor dediğin gibi ama mobile useragenta sahip değil. Search consoledan sitemap eklediğimizde gelen Google botla aynısı. Sadece yeni URL var mı diye bakıyor. Şimdi tarama bütçesinden normalde saymamasi lazım ama Google bu belli olmaz bunlara. Bu soruyu ben de merak etmeye başladım bir cevap bulursam buraya yazacağım.
Dakikada 15 bin Google botunun girmesini nasıl sağladın nasıl bir spam site oluşturdun bu sefer
Farklı senaryo puzzle parçalarını birleştirdim
