aynı sorun benim bir sitem de de mevcuttu sorun dediğiniz gibi robots.txt dosyasından kaynaklıymış, ben sorunu hallettim ama 2 ay oldu neredeyse hala bu linkler gitmedi, üstelik sitem mobil olmasına rağmen girmiş olduğum içerikleri ilk etapta mobil uyumsuz tanıyor aradan 1 hafta 10 gün sonra mobil uyumlu tanıyor.

Tabi burda işin kötü tarafı içerik 10 gün sonra bayatlıyor yani hitten eser yok