User-agent: *
Disallow: /deneme

Robots.txt dosyanız da yukarıda ki kodu ekleyerek arama motorlarının o dizini görmesini engelleyebilirsiniz.