SEOmuhendisi adlı üyeden alıntı: mesajı görüntüle
bu kategoride son zamanlarda gördüğüm en başarılı tartışma konusu, teşekkürler @ByHazerfen;

konuyla ilgili Google tarafından sunulan resmi bilgileri okumak isteyenler https://developers.google.com/search...l-budget?hl=tr burayı ziyaret edebilir.

Yer imlerime aldım konuyu, müsait vaktimde detaylı fikirlerimi ve örneklendirmeler ile tecrübelerimi paylaşacağım. Özet geçmem gerekir ise, @ByHazerfen; in argümanında doğru ve hatalı buldugum yönler var. Kısaca bahsedeyim:

Google'un size vereceği tarama bütçesini siz belirliyorsunuz aslında. Yani spamcıların yaptıgı gibi, doğru bir strateji ile sıfır bir sitede onbinlerce urlyi hızlı bir şekilde taratabilirsiniz. Burada konu sahibini haklı buluyorum. Yani Google şunu demiyor : "Sen yeni sitesin, sana günde en fazla 5 dk ayırırım, en fazla xx urlni indekslerim, ona göre" Bunu savunanlar var ve bu hurafedir.

Ancak tarama bütçesini doğru kullanmak, url sayısını az tutmak demek değil. Kalitesiz url yapılarını az tutmaktır. Örneğin gereksiz parametre urlleri gibi. Buna ilaveten sunucunun tarama limitlerini yüksek tutmaktır. Siz gereksiz ve kalitesiz urllerden arındırılmış, optimize bir yapıdaki onbinlerce urlyi sunarsanız, sunucunuzda da problem yok ise; Google senin kapasiten 5k kardeşim gerisini taramam demeyecektir. Google kaliteli ve işe yarar url görmeye devam ettikçe taramaya devam edecektir. Heleki sitemap sürekli kaliteli urller ile güncelleniyor ise ( yani düzenli içerik girişi devam ediyor ise) Bu keşifci botların tarama sıklığını daha da arttıracaktır, Google botların hiç çıkmadığı bir haber site müşterimiz vardı, ben hayatımda böyle bir indeks hızı görmedim. Girilen haber saniyeler içinde indeksleniyordu. Site yeniydi, tamamen altyapılarının başarısıydı bu.

Fakat birbirinin kopyası, değersiz ve spam algılanacak urller tarandıkça, Google sitenin gerisini tarama zahmetinde bulunmayacaktır.Tarama bütçesi optimizasyonundan kasıt budur. Google'un bir tarama kapasitesi vardır, ve bunu gereksiz, spam, dizinine fayda değer katmayacak urllere ayırmak istemiyor. Kısacası aslında "tarama bütçesi optimizasyonundan" anlaşılması gereken, Url portföyümüzü, toplam hacim olarak düşürmek değil, spam ve kalitesiz urlleden arındırmak olmalıdır.

Görüşüm bu yöndedir. Müsait vakitte örneklendirmeler ekleyeceğim.

Sevgiler
Yeni açılmış hiç taranmamış 0 reglenmiş bir domainin günlük ilk başlangıçtaki max index limiti 200, sonraki gün sayı 480 bin, 3.günü görürse 780-800 bin aralığında bir index'e sahip olur.
Hatta bununla ilgili 3 test yaptım
1.test her zamanki gibi işlem yaptım ortalama günlük 125-130 bin arası index.
2.test tüm tuşlara bastım ve fazla indexlenmesini sağladım ( max yaptırabileceğim iişlem hacmi ) 20 site her biri 200 bin 220 bin index'te takılı kaldı bazıları 198 bin bazıları 199 bin.
3.test 1.işlemdeki yaptıklarımı yarı yarıya düşürdüm ( 90 bin index aldı 20 sitenin her biri )
Özetle tarama bütçesi saçmalığı var.
Tarama bütçesini 1 ve 3.işlemde aşmadığım için taranmasını istediğim noktalara botların kendi isteği ile gelip taradiğini görüyorum.
Fakat 2.testte tüm tuşlara bastığımda limiti geçtiğim anda botların hiçbir şekilde gelmediğini hiç bir manipüleye cevap vermediğini gördüm ( 301 haricinde )

2.testin 2.gününde yani 24 saat bitti 25.saate girdiği anda botlar bir anda gelmeye başladı ne var ne yok içerdeki tüm linkleri taramaya başladı çünkü bir önceki gün limiti farklı şekilde tükettiğim için içerdeki linkleri bile takip etmiyordu )