Botlar içeri girer girmez indexlemiyor. Alt sayfalarının linklerini tarıyor içten içe ne kadar link varsa hepsini geziyor. Sonra gezme işlemi bitiyor belli bir süre sonra gezdiği linkleri indexliyor. (Bu süre zarfında çeşitli analizlerden geçiriyor olabilir.) Bu sırada yeni linkleri kontrol ediyor. Bunu cacheden de anlayabilirsiniz. İndex tarihi ile içerik arasında fark vardır.
Örneğin A sayfanızda XX tane alt sayfa linki var, burdaki XX adet olan alt sayfayı indexlemesi için A sayfasını indexlemesi gerekmiyor, A sayfasından önce A sayfası içindeki XX adet alt sayfayı indexleyebiliyor.