Robots.txt dosyasına hiç gerek yok. google a yaranacam diye aranızı bozmayın.