bilgi için çok sağol bunları uzun zamanlar önce kullanırdık ama gösterdiğin şekilde hala robots.txt yapan varsa yanlış en basit bir örnek size:

Disallow: /gizliyer/

yerine

Disallow: /giz?

korsanız bunlardan bir nebze olsun kurtul olursunuz.

Bunlara ek olarak ta sallama bir çok klasor ve dosya adı girerseniz bir nevi yanıltmaca yapmış olursunuz.

Bunlarıda geçtim gizli ve güvenlikli olmasını istediğiniz klasörlere ayrıca plesk gibi panellerden şifreleme verebilirsiniz buda ayrıca olursa bir adım daha sağlıklı olacaktır.

Kolay gelsin...