Altyapıdan kastım wordpress, cpanel gibi. Kendi bilgisayarınızda mı barındırıyorsunuz? Evet o robot dosyasından gerekli botlara dissallow vermeniz gerekli.