Konuyu doğru yere açtığımı düşünüyorum.
Merhaba arkadaşlar. Sitemde robots.txt olmadığı halde web master tools da robots.txt dosyanız bazı dizinleri araması engellendi diye bir uyarı alıyorum ve sitemi googlede arattığımda arama sonuçlarında şu çıkıyor.

Bu sitenin robots.txt dosyası olduğundan, bu sonuç için bir açıklama bulunmamaktadır. Daha fazla bilgi edinin.

Ben şimdi bir robots.txt oluşturdum manuel olarak ve içerisine

User-agent: *
allow: /

yazdım. Doğrumu yaptım acaba ? Yada bu sorundan nasıl kurtulabilirim ?