@cemalgnlts;
Genç arkadaşım. Ülkemiz açısından hepsi lüx seviyede.
Ama ortak bir bilgi vereyim
Gen5 anakart kullanmak zorundasın ve bu ana kart da harddisk veri yolu ile gpu veri yolu ayrı olacak. Olmaz ise GPU 8x çalışıyor. Çünki diskler ile aynı veri yolunu paylaşıyor
VRAM ile RAM katmanı. Kullanacağın VRAM in 2 veya 3 katı ram kullanman avantaj. Model vram e sığmadığında ram üzerinden paylaşım yaparsın. Her işlemci son üretim hızlı ram i desteklemez. Dolayısı ile de buna dikkat etmen gerek.
CPU nun çekirdek sayısı ve L3 kapasitesi ne kadar yüksek ise sana avantaj sağlar.
O sebeple deki AMD nin Threadripper ve EPYC işlemcileri o sebeple biraz önde gidiyor.
OS ile LLM model dosyasını ayrı disklere ve gen5 modele yüklemen ile alacağın token da ufak tefek fark olacaktır.

Local de llm çalıştıracaksan, tercih edeceğin işletim sistemi Linux olması her açıdan avantaj olacaktır.
Cuda maalesef şuan için en önde gidiyor. Windows da kullanacak ise ekran kartı driver'ını sen yükleme, Cuda ile gelen tercih edilen driverı kullanman faydalı.
gibi gibi temel konular sonrasıgelir