Localde Yapay Zeka Kullananların Donanımlarını Öğrenebilirmiyiz?

rtx 4050 l i bilgisayar düşünüyordum fazla oyun oynamam aklıma cursor vs uğraşmaktansa local de kaç TL lik donanımla ai çalışmalarımı halledebilirmiyim diye bakarken 5070'e baktım biraz, 8-16gb vram lerin yetersiz kaldığı 24gb vram önerildiğini gördüm , rx 7900 xtx fiyat olarak en uygun 24gb vram görünüyor. Nvidia daki gibi dlls3 vs yok ama oyun oynamadığım içinde sorun olmaz diye düşünüyorum. Nvidia da 24gb vram olarak 3090 var ama rx7900xtx arasında 2 kat fiyat farkı var.Benden önce böyle bir çalışma yapmış hatta toplamış arkadaşların görüşlerini performans testlerini merak ediyorum.Aşağıdaki video 7900xtx konusunda beni tatmin etti gibi.


https://www.youtube.com/watch?v=b7b7MJ-klbg

7900 xt modeline sahibim. 7, 14 milyar parametreli modeller rahatlıkla çalışıyor ancak 32 ve üzerinde çok büyük bir yavaşlama hissiyatı oluşuyor. Evet kulağa ne kadar localde kullanmak hem veri koruması hem de maliyet için mantıklı gelse de şu an claude 3.7 sonnet max gibi bir yapay zeka varken maksimum kendi evinizde claude haiku gibi modellerine yaklaşan bir modeli çalıştırabileceksiniz. Bu da ekran kartını yorduğunuza değmez

Aslında benimde takıldığım bir noktaya dokundunuz, uzun zamandır claude kullanıyorum ve neredeyse diğer bütün dil modellerinide denemiş olmama rağmen özellikle kodlama alanında en iyi işi çıkaran claude. 3.7 ilede baya ilerleme katetmiş.Local de çalışmak için llama,deepseek,mistral,qwen vs kullanmalıyım, chatgpt,claude doğal olarak kullanamıyoruz.Sırf buna göre donanım ayarlayıp pişman olurmuyum düşüncesindeyim.

Evet o konuyu okumuştum 5070ti ile görsel oluşturma sorunu yaşıyordu sanırım.Muhtemelen sonradan çıkacak eklentiler ile o sorunu çözebilir de benim görsel ile pek aram yok daha çok bilgi ve kod üzerine istiyordum.

https://www.reddit.com/r/LocalLLaMA/ subredditi belki işinize yarayabilir. Belki dememin nedeni Türkiye şartları. Sıfırdan bu işe giren adam splitter ile min 4 3090la işe başlıyor. Bu arada hevesini kaçırıyormuş gibi olmasın. Kendimden örnek veriyorum. Tek ekran kartı ile insan kendisi sınırlı hissediyor. Mamafi yeni çıkan modelleri de demek istiyorsun. Fakat bu sefer masrafı getirisinin 2 katına çıkıyor. Ekran kartlarını bir şekilde ucuza halledebilirsen gerisi kolay. Bu arada elden düşme ekran kartı konusunda bende arayıştayım.

Eskiden kalan alışkanlık sanırım 2. el ekran kartına sıcak bakamıyorum, eskiden mining yapıldı mı derdi vardı.Şimdilerde okadar kasacak işler yoktur muhtemelen.Bunu denemek istemem maliyet den ziyade istediğin program veya modeli denemek ve ona göre kullanmak.Hani vardır ya hazır alsan daha ucuza geleceğini bilirsin ama kendin yapmak istersin