Yapay zekâ botları sayfayı açabiliyor mu5,5 / 7,4Sorun Sunucunuz şu yapay zekâ botlarına sayfayı düzgün vermiyor: GPTBot (HTTP 429). Nerede
robots.txt değil; sunucu, güvenlik duvarı (WAF) veya CDN katmanı. Bu botların User-Agent adıyla gelen istekler orada engelleniyor.
Nasıl düzeltilir- Cloudflare kullanıyorsanız "Block AI bots" (yapay zekâ botlarını engelle) ayarını kapatın.
- cPanel/Apache barındırmada ModSecurity kuralları bu botları engelliyor olabilir; barındırma firmanızdan bu User-Agent'lara izin vermesini isteyin.
- .htaccess dosyanızda veya güvenlik eklentinizde bot adlarını engelleyen bir kural olup olmadığına bakın.
Googlebot kimliği de engelleniyor: bu yapay zekâya özgü bir engel değil, sitenizin tüm botlara kapalı genel bir bot duvarı olabilir. Bu test, botun User-Agent adıyla bizim sunucumuzdan yapılır; gerçek botun IP adresi farklı muamele görebilir.
Sorun Googlebot kimliğiyle gelen istek engelleniyor veya eksik sayfa alıyor (HTTP 403). Nerede
Sunucu, güvenlik duvarı (WAF) veya CDN katmanı; robots.txt değil.
Nasıl düzeltilir- Güvenlik eklentinizde veya CDN ayarlarınızda doğrulanmış arama motoru botlarına izin verildiğinden emin olun.
- Gerçek sonucu görmek için Search Console → URL Denetimi → "Canlı URL'yi test et" özelliğini kullanın.
Bu test sahte bir User-Agent ile bizim sunucumuzdan yapılır. Gerçek Googlebot farklı IP adreslerinden gelir ve farklı karşılanabilir; kesin sonuç için Search Console'a bakın.
Ayrıca Mobil lcp geliştirilebilir.Ekteki resimde. Bunlar hariç kritik bir sorun yada hata göremedim.Ancak sırlama için çok komplex işlemler mevcut kelime ne olursa olsun kaliteli backlinkler artık olmazsa olmaz gibi rakipleriniz aldığı için. @SEOKOZ; üstadımıza ulaşabilirsin bu konularda.