Robots.txt dosyanızda aşağıdaki kodları ekleyebilirsiniz.

User-Agent: botadı
Disallow: /ornekklasor/

veya Disallow: / şeklinde ana dizini o bottan engelleyebilirsiniz.