robots.txt ile yaparsın, her agent'ın kendine ait bir kodu igib birşey vardı, onu dosyaya yazarak engelleyebiliyorsun.