Bu durumda robots.txt ile .html/ uzantılı URL’leri disallow etmek mantıklı bir çözüm değildir.
Site haritanızda (sitemap.xml) sadece doğru URL’leri (.html uzantılı olmayanları) listeleyin.
Hocam merhaba;
anladım. sitemaplerde zaten .html olan linkler mevcut. Google .html/ olanlara da erişmeye çalışıyor ama böyle linkler hiç bir zaman olmadı. Bende .html/ olanlara 301 leyip .html versiyonlarına yönlendirmiştim.