Merhaba arkadaşlar daha önce arkadaşın biri yazmış aynı sorun şimdi bende de var. Bir firmadan hostum var. Siteme arama motorları botları da dahil hiç bir bot erişemiyor.Daha önce kullandığım https://developers.google.com/speed/pagespeed/insights/ ve diğer site hızı ölçme siteleri siteyi tarayamıyor. Tüm eklentileri kaldırdım Şu an sitenin robot.txt sini bu şekilde ayarladım değişen birşey olmadı.

User-agent: *
Allow: /

User-agent: GoogleBot
Allow: /

User-agent: GoogleBot-Mobile
Allow: /

User-agent: GoogleBot-Image
Allow: /

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Bingbot
Allow: /

Sunucudaki herhangi bir ayar bu soruna neden olmuş olabilir mi?