Örnek bir robots.txt
Alıntı
User-agent: *
Disallow: cgi-bin
Disallow: admin
Disallow: /*ref=*
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: h t t p : / / w w w . s i t e a d r e s i n . c o m / s i t e m a p . x m l
gibi..
siteadresi bitişk olcak her karakterde boşluk bıraktım görmen için