Bazı botları engelleyip, bazı botlara izinde verebilirsiniz robots.txt ile.