robots.txt ile değil mod security ile işlem yapmanızı öneriyorum, mod security yazılımlarınızdaki açıkları korumak içindir fakat ben pek sorun olacağını düşünmüyorum.