Google bot sitenin robots.txt'de yer almayan yerleri de dahil olmak üzere engellenmeyen, erişim izni verilmediği belirtilmeyen her yeri gezebiliyor. Link piramitleri üzerinden dolaşarak tüm sayfalara bakıyor. Hangilerini indexleyeceğine ise kendisi karar veriyor.