SEO konusunda uyumsuz olduğunu düşünüyorum. Robots.txt direkt olarak bununla ilgili değildir. İnternet sitenizin altyapısı yani veritabanları dahil olmak üzere problemli olabilir. Görüşüm bu yönde.