İndexlenme konusunda yukarıdaki arkadaşın dediği gibi yapabilirsin. Ama botlarda girmesin sıkıntı olmaz diyorsan

User-agent: *
Disallow: /xyz

Bunu robotx.txt adresine ekle bot da girmez index de almaz