Klasik robots.txt dosyası şu şekilde oluşturulmaktadır ;

User-agent: *
Disallow

robots.txt diye bir txt belgesi oluşturduktan sonra ftp'den anadizine göndermeniz gerekmektedir.

Örnek ;

User Agent: * ( * işareti kullanarak sitenizin tüm arama motorları botlarına açık olduğunu belirtirsiniz)

Disallow: (bu bahsi geçen botların hangi URL – sayfalarınızı – görüntülemesini istemediğiniz ile ilgili bir komuttur)