WP Harici Siteye Robots.txt Oluşturma

Question

Merhabalar.
WordPress olmayan bir sitem var. Özel yazılım. Search console ekliyorum, bunda bir sorun yok lakin sitemap getirilemedi diyor ve siteyi dizine eklemiyor.
Robots.txt olmamasına bağladım ben. Bu sitenin robots.txt dosyası nasıl olmalı ne yazmalı içinde? Hazırlayıp verebilecek olan var mı?

BarisSa · Answer

Buradan bilgi alabilirsiniz. 
Xml yapınızda sorun var mı yok mu bunları da bir kontrol edin.

BigSEO · Answer

Bu durumun robots.txt ile alakalı olacağını sanmıyorum ama yine de deneyin. Manuel olarak bunu ekleyip test edebilirsiniz.

User-agent: * 
Allow: /
Sitemap: http://www.example.com/sitemap.xml

Furkan · Answer

BarisSa adlı üyeden alıntı:						mesajı görüntüle									Buradan bilgi alabilirsiniz.
Xml yapınızda sorun var mı yok mu bunları da bir kontrol edin. 								BigSEO adlı üyeden alıntı:						mesajı görüntüle									Bu durumun robots.txt ile alakalı olacağını sanmıyorum ama yine de deneyin. Manuel olarak bunu ekleyip test edebilirsiniz.

User-agent: *
Allow: /
Sitemap: http://www.example.com/sitemap.xml 		Değilmiş zaten.  Anlayamadım, kurcalıyorum sabahtan beri.