Robots.txt dosyasıyla botlar daha kolay hareket eder sitende. Olması tabi ki yararına olur.