Sitenin ana dizinindeki robots.txt dosyasında yazdığın bir emir nedeni ile o sayfaya botların indexlemesini engellemissin fakat sıkıntı yaratmaz bende bunun gibi 10binlerce sayfa var.
Ama benim robots.txt de onun sitesini engellicek birşey yok + onun sitesini ben nasıl engellerim ki ?
Şimdi adamların robots.txt sine baktım kendi siteleri için engelleme var sadece.