robots.txt ye gerek var. Site haritanizi onada eklemniz botlar icin faydali olacaktir. Ayrica index almasini istemediginiz seyleri de eklemelisiniz.

Botlar sitenizi taradikca zaten hatalari sizlere soyleyecekler. konsoldan takip edebilirsiniz.