(R10+) GoogleBot Bilinmeyen bir sayfaya bakıyor

Robot: Google

• Bilinmeyen bir sayfaya bakıyor

• Bu konu hakkında bilgisi olanlar bilgilendirebilir mi?

Google bot sitenin robots.txt'de yer almayan yerleri de dahil olmak üzere engellenmeyen, erişim izni verilmediği belirtilmeyen her yeri gezebiliyor. Link piramitleri üzerinden dolaşarak tüm sayfalara bakıyor. Hangilerini indexleyeceğine ise kendisi karar veriyor.

*sürekli iç içe yönlendirme varsa bilinmeyen sayfa sonucu çıkabilir.
*bir sayfa ya da statik dosya sunucuda yoksa zaten sunucu 404 döner. bir süre sonra bot talebi bırakır ve bu bağlantıyı dizinde siler.
*talep edilen sayfa belirlenen sürede cevap vermiyorsa sonuç yoktur yani bilinmiyordur.