User-agent: *
Disallow: /tmp
Disallow: /logs
bot larin kapisini kapatirsin, onemli olan diger soyalarida ayni sekilde siralayabilirsin. Buraya yazmadigin diger dosyalarini botlar gezmesine izin vermis olursun.
Yani diger dosyalarina Allow diye izin vermene gerek yok.