robots.txt uygulamasını kullanarak istediğin arama motorunu sitene sokmazsın.
yahoo'nun arama botu: Slurp
Googlenın arama bot Googlebot
gibi, tüm botları engellemek istiyorsan
engellemek istediğin botun adını bildikden sonra gerisi sana kalmış