Allow'un teknik olarak bir anlamı olduğunu düşünmüyorum.Diğer yandan disallow çok önemli.Botlara girme dediğiniz 2 yer var,diğer yerlere herhangi bir şey belirtmediğinizde otomatik girecektir.Yine sitemap url'sinin robot txt.te olup olmaması da çok fazla anlam ifade etmez.Ama faydalı olduğunu düşünenler var.Zaten google bir url'nin engellendiğini söylüyor.Soru işaretine bakıp o url'yi görebilirsiniz.
Sorunun robot.txt le alakalı olmadığını zaten siz de görebiliyorsunuz.
Ek olarak resimde site ismini gizleyip üstte açık bırakmışsınız.Üstü de kapatmak isteyebilirsiniz.
Anladım hocam bir bakayım bi
Yok kalsın site ya nabalım kafa kalmadı
engellene url soru işaretine gelince
Google tried to crawl these URLs in the last 90 days, but was blocked by robots.txt. şöyle yazıyor
--R10.NET; Flood Engellendi -->-> Yeni yazılan mesaj 20:46:05 -->-> Daha önceki mesaj 19:17:55 --
Arkadaşlar birde şöyle bir sorun var ya bu hataları silebilme gibi bir durum varmı yoksa google zamanla bunları siler mi?
Buyrun resim;
