PHP ile yapacaksanız jsondan gelen verileri foreach'le bir dizi içerisine push edin aynı olan verileri zaten push etmiyor tek veri olarak topluyor otomatik olarak. Bir döngü ilede ekrana bastırabilirsiniz duplicate olanlar yok olmuş olur.