yanlış anlamadıysam, robots.txt dosyanız şu şekilde :

UserAgent: *
Disallow: /

bunun manası root'tan itibaren bütün dosya ve dizinlere hiç bir bot giremez demektir.

doğrusu şu şekilde olmalıdır :

UserAgent: *
Disallow: