evet arkadaşlar arama motorları botlarını yönlendirme konusunda biraz bilgi vereceğim .
robots.txt diye bir dosya olusturuyoruz ve içine şunları yazıyoruz.
User-agent:Googlebot  
  Disallow:/admin/
girmesini istemediğiniz klasörleri bu şekilde belirtebilirsiniz disallow:/admin/
Allow:*
Disallow:/images/
Disallow:/privacy
1. satırda heryere girmesine izin verirken 2. ve 3. satırda images ve privacy dosyalarına girmelerini yasaklamış bulunmaktayız .
bütün arama motorları için 
User-agent:*
kullanım bu şekildedir.
aşagıda birkaç bot ismi mevcut
Googlebot
SlowBot
heraSpider
Surfbot
Bizbot003
TI Spider
w3index
MyCNNSpider
SummyCrawler
bu sayede örümceklerin aslında olmayan sayfalarda gezinmesini önleyebilirsiniz.