Arkadaşlar emin olamadım o yüzden görselli bir şekilde CF panelinden örnek verir misiniz ?
Örneğin engelleme çalıştığım bir bot sitesi ->
http://mj12bot.com (Sizlerde engelleyebilirsiniz, çok ama çok eski içerikleri sürekli sorgulayarak kaynak tüketen bir sistem.)
mj12bot'un sitesinde botun nasıl engelleneceği bilgisi de verilmiş. Bu botu engellemek için robots.txt kullanabilirsin. Farklı botlar için internet'den istediğin botun user-agent'ını bulup yine bir şekilde engelleme yapabilirsin.