User-agent: *
Disallow: /

bu tüm botların engellenmesi demek, ftp nizde mutlaka vardır robots.txt. eğer ftp göremediğiniz halde site.com/robots.txt yazınca erişebiliyorsanız hosting firmanız ile görüşün.