Web in boyutu ve sayfalaramızın güncelleme sıklığı düşünüldüğünde.Her arama motoru robotlarınında tekrar ziyaret politikası olması gerektiği ortaya çıkmaktadır. Sonuçta arama motorları internetdeki devasa bilgiye götüren en büyük araç oldugu herkez tarafından bilinmektedir.
Madem arama motorları bilgiye götüren en önemli araçlardır. Bu durumda arama motorları arasında çok büyük rekabette söz konusudur herkez biliyor zaten.Yahoo, google,bing v.b. arasındaki rekabeti.
Nerde çok büyük rekabet varsa orda teknoloji namına herşey olmak zorundadır.Yazılımlar,mühendisler,makineler,icatla r v.b.
Şuan sanırım google veritabanında 20 milyar indexli domain var belki dahada fazladır tam emin değilim.Bu rakam günden güne artıyor. Ve google inanılmaz bir bant harcıyordur bu siteleri tarama konusunda.Google tekrar ziyaret politikası konusunda sistemler geliştirdi ve webmasteri bu sistemlere teşvik etmiştir herkez biliyor. robots.txt,if-modified-since http, sitemap, web yöneticisi araçları v.b. Bana kalırsa bu sistemleri sırf bant genişliğini minimum düzeye çekmek için yaptı. Ama ortada şöyle bir problemde var sitemap güncellenip google ping gönderildiği zaman dahi google bot siteye girmiyor. Bu şekilde gözlemlediğimiz vakit ortada bir çelişki oldugu belli oluyor.Şu zamanda webmasterler güncelleme yaptığı zaman hem sitemapı güncelliyor hem imleme sitelerine adresleri gönderiyor bu sayede google botu sitenize sokmayı başarıyorsunuz ve index alıyorsunuz.Neysa lafı fazla gevelemeden konuya giriş yapalım.
Web robotlarının tekrar ziyaret politikası:
- Çok sık güncellenen sayfaları değişme sıklığına göre ziyaret hesaplaması ayarlamak
- Güncellenen sayfaların günlüğü tutularak sık güncellenen sayfaları sık ziyaret edip güncellemek.
Saygılar
