alt yapı felan yok hocam, robots.txt di az önce oluşturdum biraz araştırmalar sonucu
User-agent: *Disallow: /
yazıp attım ana dizine..
Altyapıdan kastım wordpress, cpanel gibi. Kendi bilgisayarınızda mı barındırıyorsunuz? Evet o robot dosyasından gerekli botlara dissallow vermeniz gerekli.