Maalesef yukarıdaki açıklama hatalı bir açıklama olmuş:
İlk kodun anlamı "Tüm arama motorlarının taramasına izin vermiyorum demek"
değildir. Aksine bu kod tüm arama motorlarının tüm sayfaları taramasına izin vermektedir. Yıllardır robots.txt dosyamın içeriği bu şekildedir ve taranma problemi bulunmamaktadır. İlk kodun, sağlayacağı sonuç açısından, şu koddan farkı bulunmamaktadır.
User-agent: *
Disallow:
Bunun yanında, esas "Tüm arama motorlarının taramasına izin vermiyorum demek" için kullanabileceğiniz kod ise bu şekildedir:
User-agent: *
Disallow: /
Arama motolarına izin veriyorum demek..
User-agent: *
Disallow:
Bu koddur..
Eğerki Disallow: önünde / olsaydı bu sefer izin vermiyorum anlamında olurdu.
neyin açıklamasını yaptığınızı anlamıyorum ayni şeyden bahsediyoruz?