Arkadaşım bence robots.txt dosyasına hiç gerek yok sitemap.xml en varsa yeterli olacaktır sil gitsin derim veya robots.txt dosyasını şu şekilde yapın;