Şunu yapsam olur mu?
BEn robots.txt'yi şöyle değiştirdim
User-agent: *
Allow: /
Bir işime yarar mı?
Dosyayı bu şekilde bıraktığınızda istediğin olacaktır. Robotlar tüm sayfaları gezebilecek ve indexleyecektir. İndexlemesini hızlandırmak için sitemap gönder.