Hostaki bütün sitelerde aynı sorun varsa sebep bunun eksikliği olabilir "If-Modified-Since HTTP"

Bu olay botun siteyi taradıktan sonra güncellenip güncellenmediği ile ilgili. Sorun varsa google site güncellenmedi olarak algılıyordur ve ziyaretine gelmiyordur.