Merhaba arkadaşlar;

Uzun süredir yayında olan bir sitem ile ilgili garip bir durum var. Normalde linklerim .html ile bitiyor ama Googlebot linklerimi .html/ olarakta tarıyor. Bende bu durumu .html/ olan linkleri 301 ile .html olan linklere yönlendiriyorum. Tarama bütçesini doğru kullanmak adına robots.txt de .html/ disallow ile botların erişimini engelleme mantıklı bir çözüm olabilir mi?

Şu an yaptığımız mı daha mantıklı karar veremedim. Özellikle yazılım için .html/ linkine yönlenmesi için herhangi bir kural veya unutulmuş bir link yöntemi bulunmuyor. Ama google ısrarla .html/ şeklinde de erişmeye çalışıyor.

Teşekkürler.