kullandığınız özel yazılım sonucu bu hata veriyorsa bi kaç yöntem uygulayabilirsiniz.
bahsettiğiniz klasöre boş bir index.php dosyası veya index.html atın tekrar kontrol edin aynı hatayı veriyor mu diye.
olmaz ise o klasörde .htaccess dosyası var mı, ona bakabilirsiniz veya anadizindeki .htaccess dosyasına bakın, muhtemelen indexsiz klasörlere 403 sonucu döndürüyordur.
son olarak yazılımın config dosyasında bu tarz bir kısımdan dolayı kaynaklanıyordur.
sitemi kötü etkiler mi demişsiniz, google url deki dosya veya klasörlerin ana klasörlerinin de içerik sahibi olmasını istiyor, aksi takdirde spam url gibi görüyor diye bir yazı okumuştum.
bahsettiğiniz durumun çok çok kötü bir etkisi olacağını düşünmüyorum ben şahsen.
yine de sizin için önemli bir sorunsa bir PHP uzmanına başvurun, kolaylıkla halledebilir bu durumu.
Alıntı
ayrıyeten robots.txt çalıştırılabilir bir dosya değildir, yani sitedeki izinleri düzenlemez, sadece botlara izin/kısıtlama getirir.