kaliteli bir webmaster indexlenmesini istemediği sayfalarını saklar doğrudur ama bu robots.txt ile biraz acemiliğe girer yada sunucu windows ise çaresizliğe.

htaccess bu iş için daha sağlam olanıdır,

eğer bir dizin ise dizinin içine
#deny all access
deny from all
kodlarını, dizindeki bir sayfa ise;
<Files ~ “^\.ht '(or files run')”>
Order allow,deny
Deny from all
Satisfy All
</Files>


ayrıca paylaşımın için teşekkürler, + rep