robots.txt içerisinde hangi bölümleri engellemek istiyorsan engelleyebilirsin. çünkü her bot sitede indexleme yapmadan önce robots.txt yi sorar...

örnek olarak facebook'unkine bakabilirsin:
http://facebook.com/robots.txt