Sildiyseniz herhangi bir sorun olmaz. Özel olarak belli klasör veya url'leri arama motorlarının indexlemesini istemiyorsanız robot.txt kullanmayabilirsiniz.