https://developers.google.com/search...-for-googlebot
https://www.searchenginejournal.com/...et-seo/378857/

kısaca özet geçeyim crawl etmek yazılım terimidir. yazılım bir sitenin içeriğini indirip yorumlarsa buna türkçede siteyi kazıdık, ingilizcede crawl ettik deriz. crawl etmek kaynak tüketir(cpu,rap,band) eğer google boşu boşuna sitende gezdiğini düşünürse bu kaynağı düzgün kullanmak için artık daha az sitende gezinmeye başlar.

mesela bir sayfayı heryerden linkersen bu bütçeyi nagatif etkiler çünkü tekrar tekrar o sayfayı gezinmeye zorluyorsun. yapılması gereken şey siteyi linklerle örerken tekrardan kaçınmaktır. daha fazla derinliği var internette araştırabilirsin.

örnek vereyim 2 tane etiketin var bu 2 etiketin içindede aynı şeyler var... bu negatif etkileyecektir. bunun gibi bir çok senaryo var.