Birşeye açıklık getireyim.

robots.txt ye;

User-agent: xxxx
disallow: /

yazarsanız xxxx botunu tüm sayfalarınızdan engellemiş olursunuz.

User-agent: xxxx
disallow:

yazarsanız xxxx botuna tüm sayfalarımı indexle demiş olursunuz. Yani Glory arkadaşın vermiş olduğu robots.txt doğru.