Hangi botların izinli olduğu CF'nin sisteminde yazıyor, Bilinen botlar dediğimiz kısım biraz daha kısıtlı diğer botlar çöp olduğu için engelli

https://radar.cloudflare.com/traffic/verified-bots

şunlar valid ve geçerli olanlar, bunlar dışındakiler harbi harbi gereksiz olduğu için girmesede olur siteye