Sanırım robots.txt dosyasını ftp nin ana dizinine atmamışsın. ondan olabılır.