Belki birilerinin işine yarar. Başıma şöyle bir durum geldi. Birçok news kaydı yaptım. Bir sitenin news kaydı olmasına rağmen bir türlü hızlı index almıyordu. Cloudflare üzerinde birçok farklı güvenlik kombinasyonu varsa news botu arada kaynıyor. Aman diyeyim. Şu user agent kısmını mutlaka önem derecesi yüksek bir "allow" grubuna ekleyin. Bilinen bot olarak da kabul edilmemiş.

user agent: FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Bu agent, js challange ile karşılaşsa "sie" deyip siteden kaçıyor.