7900 xt modeline sahibim. 7, 14 milyar parametreli modeller rahatlıkla çalışıyor ancak 32 ve üzerinde çok büyük bir yavaşlama hissiyatı oluşuyor. Evet kulağa ne kadar localde kullanmak hem veri koruması hem de maliyet için mantıklı gelse de şu an claude 3.7 sonnet max gibi bir yapay zeka varken maksimum kendi evinizde claude haiku gibi modellerine yaklaşan bir modeli çalıştırabileceksiniz. Bu da ekran kartını yorduğunuza değmez
Aslında benimde takıldığım bir noktaya dokundunuz, uzun zamandır claude kullanıyorum ve neredeyse diğer bütün dil modellerinide denemiş olmama rağmen özellikle kodlama alanında en iyi işi çıkaran claude. 3.7 ilede baya ilerleme katetmiş.Local de çalışmak için llama,deepseek,mistral,qwen vs kullanmalıyım, chatgpt,claude doğal olarak kullanamıyoruz.Sırf buna göre donanım ayarlayıp pişman olurmuyum düşüncesindeyim.