klasor/ olarak yapın en klasorun icindeki index.htm yada html otomatik olarak okunur ve klasor icine attıgınız diger sayfalarda klasor/ seklinde daha cabuk indexlenir kanısındayım..robots.txt kesinlikle tavsiye ederim fayda 2 katına cıkacaktır.