Robots.txt yasaklı olanlar, önemli bir şey olmadığını sizin bilmeniz gerekiyor Sunucunun engellediği şeyler ne bakın derim. Büyük ihtimalle css dosyaları vs.