Amaç belli botlara siteyi kapatma.
Yeni site kuranlar için bence çok mantıklı bir adım. Sonuçta daha siteniz temiz oluyor ve bunu uygulayın derim.
Kaynak : https://developers.cloudflare.com/fi...issues-and-faq
Cloudflare'nin tanıdığı botlar
Bot Description ahrefs Ahrefs SEO bot apple Applebot is the web crawler for Apple, for products like Siri and Spotlight Suggestions archive.org Archive.org bots baidu Baidu search engine bots better uptime Bot for monitoring website uptime bing Bing search engine bots feedbin Feedbin.com bots google Google search engine bots grapeshot Grapeshot (Oracle) SEO bots linkedin LinkedIn bots mail.ru Mail.ru bots naver Naver (South Korean) search engine bots pingdom Pingdom.com monitoring bots pinterest Pinterest bots seznam Seznam search engine bots sogou Sogou search engine bots uptimerobot Uptime Robot monitoring bots yahoo Yahoo! search engine bots yandex Yandex search engine botsAynı sayfada Cloudflare kullanım şekli:
Rule 1 Action: allow Expression: cf.client.bot
Şimdi ne yapıyoruz
Cloudflare girin > Eklediğiniz alan adına tıklayın > Firewall > Firewall Rules kısmına girin.

Bu şekilde bilinen botlara izin veriyoruz.
Bu yöntemle abuk subuk siteler sitenizi tarayıp listelere sizi ekleyemez. @iGurler; tabi daha önce indexlendiyseniz geçmiş olsun.