kullandığın sisteme göre değiş o
en çok kullanılan
User-Agent: *
Allow: /