Arama motoru örümcekleri direk ana dizindeki dosyayı kontrol ediyor, alt klasörlere bakmıyor, haliyle bir sorun yaratmayacaktır.
ama önemli olan robots.txt forum klasörün içinde olan ana dizinde bütün dosyalara indexlemesi açık forum klasöründe bazılarına erişim yok. hani ana dizindeki robots.txt dikkate alıpta erişimini engellidğim dosyalarıda indexlerse o zaman sorun olur diye sordum..
yani ana dizindeki robots.txt ten mi bütün erişim ayarlarını yapiyim_?