google web araçlarından kendine özel robot.txt oluşturabilirsin.