robots.txt dosyası herkesin kendine özgü olur bulunması ideal olanı veriyorum başka kısıtlama yapmak istiyosan ekleme yaparsın.

 
User-agent: *
Allow: /
Disallow: /*ref=*