Sanırım bu komut tüm sitenin taranmasını engelliyor

user-agent: *
disallow: /