Merhabalar,
robots.txt dosyanızdan engelleyebilirsiniz. Aşağıdaki kodu robots.txt'ye ekleyiniz.
User-agent: DuckDuckGo
Disallow: /
hocam bunu zaten yaptım ama botları 404 e yönlendiremedim. yönlendirmek istiyorum ve bu giden botu nasıl kontrol edebilirim gidip gitmediğini görmek için