Estf. Hocam teşekkürler ilginize.
Güzel konuya değinmişsin fakat bazı eklenti temalar için belirli ip adreslerine izin vermek zorundayız. Bu ip adreslerini öğrenip kural oluşturmak gerek. Yani, sitenin düzgün çalışması için bu kurallar tek başına yeterli değil.
Doğrudur hocam işin teknik kısmında çok bilgim yok, haklısınız.
çiçek gibi konu çok teşekkürler dostum.
Ben teşekkür ederim asıl
Bu taktik ise yaramaz cunku:
https://blog.cloudflare.com/friendly-bots/ https://radar.cloudflare.com/traffic/verified-bots
Bilinen botlar listesinde:
AhrefsBot
Moz dotbot
SEMrush
Alexa Site Audit gibi botlar var ve bunlar bilinen botlar listesine dahil edilmis.
Kisacasi Semrush Ahref site taramalarinda sonuclar cikar.
Bu ancak basit adi sani bilinmeyen site sorgularini engeller.
Tum seo analizi sorgularini iptal etmenin kesin bir yolunun oldugunuda belirtmeliyim.
Aynı ayar bende var, semrush'a ait olan bot site audit alamıyor sitemden, videonun sonunda var ama isterseniz kendiniz de deneyebilirsiniz dogadijital.com
Bot kısmında Googlebot seçilirse alıyor analizi ama, kendisine ait bot ile tarayamıyor.