Burası baya karışık, farklı farklı bir çok botun bazılarına izin verilmiş bazılarına ise izin verilmemiş. Daha öncelerden robots.txt dosyanda herhangi bir ek birşey eklemediysen, Google site yöneticisi araçlarından yeni bir adet robots.txt oluşturabilirsin.
Ya da bunu

User-agent: *
Allow: /

bir metin belgesine robots.txt olarak kaydedip FTP'de www'nin içine at