Robots.txt üzerinden disallow yapsanız bile yine sayfalarınız dizine eklenecektir. Wordpress kullanıyorsanız Okuma / Arama motorlarının bu siteyi dizine eklemesini engelle butonuna tik atabilirsiniz. @Mücahit; arkadaşın söylediği gibi de, header dosyasına noindex, nofollow meta etiketini bırakmanız da, %100 bir şekilde size yardımcı olacaktır.