Tarama Bütçesi Saçmalığı

bu tarama mevzusu olayına bir de şöyle yaklaşın, nacizane bir antiseo fikri vereyim

google botu sürekli olarak hedef sitenin iletisim, hakkımızda ve kullanım sözleşmesi gibi saçma sapan sayfaları ile döngüye sokun

bakın hedef siteye sonra neler oluyor

bu kategoride son zamanlarda gördüğüm en başarılı tartışma konusu, teşekkürler @ByHazerfen;

konuyla ilgili Google tarafından sunulan resmi bilgileri okumak isteyenler https://developers.google.com/search...l-budget?hl=tr burayı ziyaret edebilir.

Yer imlerime aldım konuyu, müsait vaktimde detaylı fikirlerimi ve örneklendirmeler ile tecrübelerimi paylaşacağım. Özet geçmem gerekir ise, @ByHazerfen; in argümanında doğru ve hatalı buldugum yönler var. Kısaca bahsedeyim:

Google'un size vereceği tarama bütçesini siz belirliyorsunuz aslında. Yani spamcıların yaptıgı gibi, doğru bir strateji ile sıfır bir sitede onbinlerce urlyi hızlı bir şekilde taratabilirsiniz. Burada konu sahibini haklı buluyorum. Yani Google şunu demiyor : "Sen yeni sitesin, sana günde en fazla 5 dk ayırırım, en fazla xx urlni indekslerim, ona göre" Bunu savunanlar var ve bu hurafedir.

Ancak tarama bütçesini doğru kullanmak, url sayısını az tutmak demek değil. Kalitesiz url yapılarını az tutmaktır. Örneğin gereksiz parametre urlleri gibi. Buna ilaveten sunucunun tarama limitlerini yüksek tutmaktır. Siz gereksiz ve kalitesiz urllerden arındırılmış, optimize bir yapıdaki onbinlerce urlyi sunarsanız, sunucunuzda da problem yok ise; Google senin kapasiten 5k kardeşim gerisini taramam demeyecektir. Google kaliteli ve işe yarar url görmeye devam ettikçe taramaya devam edecektir. Heleki sitemap sürekli kaliteli urller ile güncelleniyor ise ( yani düzenli içerik girişi devam ediyor ise) Bu keşifci botların tarama sıklığını daha da arttıracaktır, Google botların hiç çıkmadığı bir haber site müşterimiz vardı, ben hayatımda böyle bir indeks hızı görmedim. Girilen haber saniyeler içinde indeksleniyordu. Site yeniydi, tamamen altyapılarının başarısıydı bu.

Fakat birbirinin kopyası, değersiz ve spam algılanacak urller tarandıkça, Google sitenin gerisini tarama zahmetinde bulunmayacaktır. Tarama bütçesi optimizasyonundan kasıt budur. Google'un bir tarama kapasitesi vardır, ve bunu gereksiz, spam, dizinine fayda değer katmayacak urllere ayırmak istemiyor. Kısacası aslında "tarama bütçesi optimizasyonundan" anlaşılması gereken, Url portföyümüzü, toplam hacim olarak düşürmek değil, spam ve kalitesiz urlleden arındırmak olmalıdır.

Görüşüm bu yöndedir. Müsait vakitte örneklendirmeler ekleyeceğim.

Sevgiler

Burada temelde kaçırdığınız nokta şu, tarama bütçesinin artması kötü birşey değil zaten. Tarama bütçesini boşa kullanmak gereksiz. Saçma sapan parametreleri sayfaları taramaya başlarsa, önemli sayfalarınızı günde 20-30 kez tarayacağına, 3-4 kez taramaya başlar. Tarama bütçesini optimize etmenin temel mantığı budur. Önemli sayfaların daha çok taranmasını sağlamak.

Google onu yemiyor hocam, bir kaç ziyaretten sonra eğer kayda değer bir değişim yoksa ne kadar zorlarsan zorla o sayfalara yüksek miktar botu sokamıyorsun. Ek olarka diğer yorum yapan arkadaşlara fikirlerini paylaştıkları için teşekkürler.

yeni açılmış olan, sektörde rekabet yaratmak isteyen yeni oluşumlarda gözle görülür bir değişiklik meydana geliyor, google botu taklit edip afallaştırdığınız için sürekli dalgalanıyor, tecrübe ile sabittir

otoriter sitelerde işe yaramaz

Yeni açılmış hiç taranmamış 0 reglenmiş bir domainin günlük ilk başlangıçtaki max index limiti 200, sonraki gün sayı 480 bin, 3.günü görürse 780-800 bin aralığında bir index'e sahip olur.
Hatta bununla ilgili 3 test yaptım
1.test her zamanki gibi işlem yaptım ortalama günlük 125-130 bin arası index.
2.test tüm tuşlara bastım ve fazla indexlenmesini sağladım ( max yaptırabileceğim iişlem hacmi ) 20 site her biri 200 bin 220 bin index'te takılı kaldı bazıları 198 bin bazıları 199 bin.
3.test 1.işlemdeki yaptıklarımı yarı yarıya düşürdüm ( 90 bin index aldı 20 sitenin her biri )
Özetle tarama bütçesi saçmalığı var.
Tarama bütçesini 1 ve 3.işlemde aşmadığım için taranmasını istediğim noktalara botların kendi isteği ile gelip taradiğini görüyorum.
Fakat 2.testte tüm tuşlara bastığımda limiti geçtiğim anda botların hiçbir şekilde gelmediğini hiç bir manipüleye cevap vermediğini gördüm ( 301 haricinde )

2.testin 2.gününde yani 24 saat bitti 25.saate girdiği anda botlar bir anda gelmeye başladı ne var ne yok içerdeki tüm linkleri taramaya başladı çünkü bir önceki gün limiti farklı şekilde tükettiğim için içerdeki linkleri bile takip etmiyordu )

bütçe diye bir şeyyok bence dediğin gibi bir günde sadece arama motoru sonucunu ortada makale yok arama sonuç sayfasından oluşan 400bin index aldıran var. bütçe mütçe olsa bunları indexler mi google? ama şu bir gerçek alıştığı yolla gönderilen siteharitalarını artık kaale almıyor çok benzersiz değilse. mesela wordpress ile gönderirsen kaale bile almıyor benim denemelerimde. ve eskisi gibi düz yoldan gelenleri kolay indexe almıyor

3 günlük siteye 700k indeks aldırabiliyorsanız demek ki siz de aslında bilinen anlamıyla tarama bütçesi kısıtlamasının olmadığını teyit ediyorsunuz=) Spam dünyasındaki tarama bütçesi ile organik SEO dünyasında konu sahibinin bahsettiği tarama bütçesi kavramları biraz farklı. Burada aylardır 1k indeks aldıramayan insanlar tarama bütçesine suç buluyor, konu o. Yani dünyadaki kum taneleri ile evrendeki toz bulutlarını kıyaslamak gibi.. Size göre 3 günde 780k tarama bütçesi limiti olabilir, bu forumdaki insanların %99 u için bu tarama bütçesi yok demektir, çünkü asla göremeyecekleri indeksler =)

Api ile basıyorum genel olarak söylediğim rakamların üzerine çıktığında ne içerdeki linkleri takip ediyor nede manipüleler işe yarıyor sadece 24 saati doldurup 25.saate girince limitleri tekrar açıyor veya tarama limitini yükseltiyor yeni güne başladığında.
Belirttiğim gibi 25.saate girince içerdeki linkleride takip etmeye başlıyor ama limit dolduğunda iç linkleride takip etmemeye başlıyor loglardan takip ediyorum.


@dertliA; @A.AY; @ByHazerfen;
Dip not: Google sitemap'te gönderdiğiniz her linki tarayıp takip ediyor.
Aktif ettiğim her siteye map ekliyorum.
10-20 siteden sadece 3 -4 tanesinin mapini deli gibi tarıyor. digerlerini önemsemiyor ona google karar veriyor
GSC'ye mutlaka map ekleyin.