Sitenizde herşeyin indexlenmesini istiyorsanız robots.txt kullanmanıza gerek yok.
Robots.txt sadece engellemek istediğiniz urller olduğu zaman kullanılır.