siteyi tamamen kaldırmak istiyorsan
Alıntı
User-agent: *
Disallow: /
robots.txt olarak kaydedip, ftp ile ana dizine at. daha sonta url kaldırma isteğini tekrar gönder.