Teşekkür ederim cevabınız için dediğiniz yapılması gerekitor ama ne yaptıysam kodlamada hata almaktan kurtulamadım. Vaktiniz varsa rica etsem yaparmısınız ?
List<int> rasgelesayiliste;
int diziid;
int secilensayiid;
int rasgelesecilensayi;
rasgelesayiliste = new List<int>{1,2,3,4,5,6,7,8,9}; // örnek sayı listesi
secilensayiid = Random.Range(0, rasgelesayiliste.Count); // diziden seçilen rasgele sayının key lerini alıyoruz
rasgelesecilensayi= rasgelesayiliste[secilensayiid]; // seçilen sayıyı alıyoruz.
rasgelesayiliste.RemoveAt(secilensayiid); // seçilen sayıyı listeden çıkarıyoruz. liste sıfır olana kadar devm eder
// liste sıfırlanınca yeniden liste yaptırıp tekrar işleme devambasit bir şekilde yazdım hemen kendinize göre düzenleyebilirsiniz. kolay gelsin