Şimdi siteniz bazen abuk subuk PW siteleri tarafından taranıyor ve link sitelerine sizden izinsiz ekleniyor. Bende bundan kurtulmanız için bir yöntem söyleyeceğim. Ben eskiden uyguluyordum ama sonra bir aralar aklımdan çıktığı için uygulamayı bırakmıştım.

Amaç belli botlara siteyi kapatma.
Yeni site kuranlar için bence çok mantıklı bir adım. Sonuçta daha siteniz temiz oluyor ve bunu uygulayın derim.

Kaynak : https://developers.cloudflare.com/fi...issues-and-faq

Cloudflare'nin tanıdığı botlar

Bot	Description
ahrefs
Ahrefs SEO bot
apple
Applebot is the web crawler for Apple, for products like Siri and Spotlight Suggestions
archive.org
Archive.org bots
baidu
Baidu search engine bots
better uptime
Bot for monitoring website uptime
bing
Bing search engine bots
feedbin
Feedbin.com bots
google
Google search engine bots
grapeshot
Grapeshot (Oracle) SEO bots
linkedin
LinkedIn bots
mail.ru
Mail.ru bots
naver
Naver (South Korean) search engine bots
pingdom
Pingdom.com monitoring bots
pinterest
Pinterest bots
seznam
Seznam search engine bots
sogou
Sogou search engine bots
uptimerobot
Uptime Robot monitoring bots
yahoo
Yahoo! search engine bots
yandex
Yandex search engine bots

Aynı sayfada Cloudflare kullanım şekli:

Rule 1
Action: allow
Expression: cf.client.bot

Şimdi ne yapıyoruz

Cloudflare girin > Eklediğiniz alan adına tıklayın > Firewall > Firewall Rules kısmına girin.



Bu şekilde bilinen botlara izin veriyoruz.

Bu yöntemle abuk subuk siteler sitenizi tarayıp listelere sizi ekleyemez. @iGurler; tabi daha önce indexlendiyseniz geçmiş olsun.