Tüm robotlar, tüm her şeyi görebilir;

User-agent: *
Allow: /

Arkasında herhangi bir değer olmadan "Disallow :" yazmanız, tüm robotların web sitenizi taramasını istediğiniz anlamına gelir.

User-agent: *
Disallow:

Yani hiç bir farkı yok hocam