Bazı web sitelerinde bende benzer hatayı almıştım.
CloudFlare ile yurt dışına engel var mı veya robots.txt dosyasında bir engelleme mevcut mu?
Merhaba, cloudflare kullanmıyorum, başka bir nedenden dolayı cloudflare kullanmayı tercih etmiyorum, yurt dışına bir engel yok, robots dosyasında bir engelleme yok. 1 hafta önce denetim yaptığımızda bir sorun olmamıştı ama fark ettiğim kadarıyla 2-3 gündür böyle. Sitede herhangi bir değişiklik yapmadık bir hafta öncesine göre...
User Agent'i de değiştirip denedim ama sorun çözülmedi.
Hosting firması son çare olarak cloudflare önerdi ama cloudflare kullanmak istemiyorum sitede başka sorunlara sebep olduğu için.
Semrush ile de iletişime geçtim hostingin son cevabına istinaden.