Robots.txt Hakkında bitane Soru..

Arkadaşlar mrba robots.txt hakkında soru sorcaktım .. Bilgi verebilirmisiniz.

Böyle olursa ne olur.

User-Agent: *
Allow: /

Böle Olursa Ne olur ? ( Böyle olursa Sadece sitemapamı açık olur.?)

User-agent: *
Disallow: /*?ref=

Sitemap: http://www.siteadı.com/sitemap_index.xml.gz

Birinci durumda herşeye açık olur
ikinci durumda içinde ref geçenler yasaklı,diğerleri açık olur sanırım

1.si bütün botlara açık demek..
ikincisinde disallow bölümündeki bot yasaklanıyor diye biliyorum

Birincisi standarttır tüm sayfaların tüm botlarca indexlenir.
ikinciside /*?ref= sitene bağlantı verenlerin indexlemesi engeller.

Refli bağlantıların ne olduğunu ve zararlarını forumda aratın bulursun