evet arkadaşlar arama motorları botlarını yönlendirme konusunda biraz bilgi vereceğim .
robots.txt diye bir dosya olusturuyoruz ve içine şunları yazıyoruz.

User-agent:Googlebot  
  Disallow:/admin/

girmesini istemediğiniz klasörleri bu şekilde belirtebilirsiniz disallow:/admin/

Allow:*
Disallow:/images/
Disallow:/privacy

1. satırda heryere girmesine izin verirken 2. ve 3. satırda images ve privacy dosyalarına girmelerini yasaklamış bulunmaktayız .
bütün arama motorları için

User-agent:*

kullanım bu şekildedir.
aşagıda birkaç bot ismi mevcut
Googlebot
SlowBot
heraSpider
Surfbot
Bizbot003
TI Spider
w3index
MyCNNSpider
SummyCrawler
bu sayede örümceklerin aslında olmayan sayfalarda gezinmesini önleyebilirsiniz.