çok güzel bir araç buldum bu konuda
işinize yararsa kullanın

http://mytexttools.com/Remove-Duplicate-Lines.html