botun gereksiz sayfalarda dolaşması, asıl önemli sayfalara girmesini de engelleyebilir / yavaşlatabilir.

Bana kalırsa gereksiz yerlere botun girmesini robots.txt ile engelle.