https://support.cloudflare.com/hc/en...s-or-crawlers-

Cloudflare arama motorlarının ip'lerini, iyi ip listesine almış o yüzden bloklamıyor. robots.txt ile engellenmesi gerek.