Bu durumun robots.txt ile alakalı olacağını sanmıyorum ama yine de deneyin. Manuel olarak bunu ekleyip test edebilirsiniz.

User-agent: * 
Allow: /
Sitemap: http://www.example.com/sitemap.xml