Pek kullanmadım onu bilmiyorum hocam. Robots txt ile engelleyebilirsiniz araştırmak lazım.