Qwen3.8-27B - Localde Opus 4.6 Max performansı

Localde böyle bir modeli normal kullanıcıların bile erişebileceği şekilde çalıştırmak bu arada bence büyük iş helal olsun

Daha açık anlatır mısınız rica etsem tam anlayamadım

Hocam bu modeli localde çalıştırabiliyorsunuz. Bilgisayarınızın sistem gereksimleri yeterliyse hiçbir abonelik vs olmadan sınırsız kullabilirsiniz. Normalde bizim gibi kullanıcıların sistem gereksimleri aşağı yukarı bellidir ve öyle çok üst seviye bir yapay zekayı çalıştırmaz. Qwen bunu yayınlayarak bu konudaki en büyük kırılmayı yaptı diyebiliriz hem güçlü bir model hem senin benim gibi insanların erişebileceği sistem gereksimlerine sahip.

localde 24gb ram ekran kartı olacakki bi ihtimal o da kesin değil düzgün çalışsın çok zor bence.

zira 3070 ekran kartı ile ben locale kurdum aşırı ağır işliyor şuan çalışabilecek düzeyde değil.

MOE hali çıksada kullansak Qwen3.6-35B-A3B-uncensored-heretic-GGUF Kullanıyorum GPT3.5 Turbo performansında context 32k yetmiyor gerçi

Gerçekten helal olsun 3.6 dan aşırı memnundum pazar günü 5070 ti da çalıştırıp OpenClaw da test etmek için sabırsızlanıyorum.

Hocam bizimle paylaşırsan sevinirim sonuçları şuan az konuşuluyor ama bence çok önemli olay bu

Lokalde çalışan LLM'de limitler vardır. Online'nın tadını alabilmeniz için sunucu ekran kartları H100 H200leri konuşmanız lazım.. LLM çalıştırmakla olmaz o iş..

Hocam aşağıda ki modeli RTX4060 Ve 64 GB Ram ile kullanıyorum saniyede 20 token hızı alıyorum sansür olmaması sebebi ile inanılmaz iş görüyor bazen zeka olarak GPT 3.5 Turbo ile aynı
https://huggingface.co/llmfan46/Qwen...d-heretic-GGUF