localde 24gb ram ekran kartı olacakki bi ihtimal o da kesin değil düzgün çalışsın çok zor bence.
zira 3070 ekran kartı ile ben locale kurdum aşırı ağır işliyor şuan çalışabilecek düzeyde değil.
MOE hali çıksada kullansak Qwen3.6-35B-A3B-uncensored-heretic-GGUF Kullanıyorum GPT3.5 Turbo performansında context 32k yetmiyor gerçi
Ram miktarınız ne kadar bilmiyorum tabi ama kullanım senaryolarınız yanlış sanırım zira saniyede 45 token a kadar çalıştırabilirsiniz en azından benim ayarlar ile bu şekilde rahat çalıştırabiliyorum 32k dan fazla verebilirsiniz düzgün ayarlar ve model parametreleri ile...