Benim düşünceme göre bu bir kaç şekilde olabilir.

Her spider da bir politika var.

Web robotlarının tekrar ziyaret politikası:
  • Çok sık güncellenen sayfaları değişme sıklığına göre ziyaret hesaplaması ayarlamak
  • Güncellenen sayfaların günlüğü tutularak sık güncellenen sayfaları sık ziyaret edip güncellemek.
Yani şunu demek istiyorum. Düzenli içerik girip bunu istikrarlı bir biçimde sürdürürseniz google siteniz adına bir ziyaret hesaplaması yapıyor.

Eklenen her sayfa dinamik olarak güncellenirse ve google bot her geldiğinde güncellenmiş görürse.Yani tamamen ham text tabanlı güncellemeden bahsediyorum. Bu hesaplama daha yükseğe çıkıyor. Buda hızlı index almanıza neden olur. Bu uzun vadeli bir çözüm aslında.
Bu kesin ama.

Blackhat yöntemlere gelirsek, bu ancak yönlendirme ile olur bence. 302,307 gibi geçici yönlendirmeler denenmeli, Seninde dediğin gibi google bot iframe içeriğini de okur.Google'ın eski URL'yi sonuçlarında daha uzun süre tutmasını da sağlar geçici yönlendirmeler. İndexlendikden sonra bozar tekrar devam edersin mesala. Ayrıca
  • Ertelenen meta refresh yönlendirmesi: Yalnızca site sahibi tarafından ayarlanan, belirli saniyede süre geçtikten sonra tetiklenir. Google Arama, ertelenen meta refresh yönlendirmelerini geçici yönlendirmeler olarak yorumlar.

    Gibi gibi şeylerde var Sonuçta bu bot yönlendirmelere uyuyor Kısır döngüye sok gitsin. Her sayfaya girdiğinde başka sayfaya yönlendir ama anlayacağı dilden. Madem kimse yardım etmiyor deneyerek çözersin dostum.


Ben senin yerinde olsam madem böyle hızlı index alan siteleri biliyorsun. Tarayıcıma bir fake user agent tools kurar ve google user agent ile bu sitelere giriş yapar. daha sonra Sitede gezer ve tüm http istekleri kontrol ederdim. Ayrıca kaynak kodlarada bakmak lazım. Özellikle javascript taraflarına odaklan bence. Yani bu adamlar google bota farklı istekler gönderiyorsa veya farklı içerikler açık ortaya bir şekilde çıkar. Diyelimki sunucu tarafında bir modül varsa ve http isteklerinde ve kaynak kodlarda açığı tespit edemiyorsan, sunucu tarafındaki modüllere bakarsın. Sunucu tarafında bir şey varsa orasını tespit etmek oldukça zor olacaktır ama. Yani derlenmiş apache veya nginx kullanıyorlarsa orası sıkıntı olur Yani bu bence sıkı bir çalışma ile ortaya çıkar bence.