Arkadaşlar mrba robots.txt hakkında soru sorcaktım .. Bilgi verebilirmisiniz.

Böyle olursa ne olur.

User-Agent: *
Allow: /

Böle Olursa Ne olur ? ( Böyle olursa Sadece sitemapamı açık olur.?)

User-agent: *
Disallow: /*?ref=

Sitemap: http://www.siteadı.com/sitemap_index.xml.gz