Örnek bir robots.txt

Alıntı
User-agent: *
Disallow: cgi-bin
Disallow: admin
Disallow: /*ref=*

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

Sitemap: h t t p : / / w w w . s i t e a d r e s i n . c o m / s i t e m a p . x m l
gibi..

siteadresi bitişk olcak her karakterde boşluk bıraktım görmen için