Belirli user agentları belirli dizinler veya / geneli için disallow etmiş olabilirsiniz. Normalde hepsine izin vermek için User-agent: * tanımı ile Allow: / edilir geçilir, ancak sadece bu user-agent için bir engelleme varsa robots.txt de onu kaldırıp denersiniz. Eğer orada yoksa .htaccess e bakarsınız, orada da bir şey görünmüyorsa firewall / waf kurallarına bakarsınız.