Silmeyi istediğiniz bir link ile birlikte siteyi inceleyebilir miyim?

Robots.txt dosyasında *.html şeklinde engelleyebilirsin ama tüm html uzantılar engellenir. Bir şekilde engelleyebilir miyiz, bir bakalım.