bence google eskiden şunu yapıyordu:
- webde dolaşıp gördüğü tüm linkleri toplamak
- topladığı linkleri veritabanına yazmak
- bu linkleri tek tek gezip, ne içerdiklerine bakmak ve bunları veritabanına yazmak
- son işlem olarak: arama sonuçlarında yayınlanacak şekle gelen veriyi, sonuçlarda sunmak
- başa dönüp aynı işlemleri tekrarlamak

bundan sonra ne yapacak (bence)
- gördüğü link'i gezip, içeriğinde ne olduğuna karar verip, veri tabanına yazacak ve sonuçlarda yayınlayacak...
- sonra başka bir link'e geçecek ve aynı işlemi tekrarlayacak


sistemin düzenli ve nispeten ucuz olması için eski şekliyle kalması lazımdı, ama artık binlerce sunucusu olan google'ın 2. yolu uygulamaması için hiçbir neden kalmadı, kazandıkları paranın keyfini sürerek daha çok çalışan bir sistem kurmuş oldular, buna da kafein deyip şekil yapmışlar reklam olmuş falan filan : )

yine bir şahsi düşüncem(önemlidir):
sitemap'lar da artık işlevselliğini kaybedebilir, ve içeriğimizin altındaki "ileri / geri" butonları daha fazla fayda getirmeye başlayabilir.
sebebi: eskiden linklerin hepsini toplayıp, sonra işlemeye başlıyordu. bu nedenle sitemap google'a hazine gibi geliyordu....
ama gördüğüm kadarıyla bundan sonra yeni sayfa gördüğü anda girip indexliyor olacak...