Konunun robots.txt ile bir ilgisi olduğunu düşünmüyorum. Engellemek istediğiniz sayfa veya bölüm varsa robots.txt kullanın. Ama kullanıp kullanmamanın indekslenmeyle alakası olduğunu sanmıyorum (robots.txt de siteharitası yolu belirtilmemiş ve wmt dan sitemap eklemiş olduğunuzu varsayıyorum)