LM Studio ile local ai berbat

bilginiz yok ise sırf birşeyler yazmak icin yazmayın. koskoca milyar dolarlık open source model eğiten yayınlayan şirketler yapamadı 3 adet gpu'ya sahip olan random birisi yapacak, eğitecek, başaracak? insanları yanlış yönlendirmeyin bilginiz olmayan konularda susun mümkünse. çok sinirlendim

cevap çok basit. o ekran kartlarında çalışabilecek en iyi kodlama modeli tahminimce ÖZEL ayarlarla anca ucu ucuna glm4.7 flash falandır veya qwen 26b 3b moe modellerdir onlar dahi ALTINI ÇİZİYORUM 'KODLAMA' modelleridir ki hala leşler gibi kod yazarlar. Ve türkçeleri afedersiniz ama *** gibidir. ha o gpu'ların tamamını nvlink ile birbirine bağlayabilecekseniz en baba 70b yeni bir model çalıştırırsınız ha işte o zaman bir gelişme elde edersiniz.

@loocas;
Locale indiridğiniz llm modellerinin eğitimleri eski. Ve online modellerde sürekli bağlam geliştirmesi yapıldığı gibi,
kullanıcıların prompt'ları sürekli şekilde değerlendirme yapılıyor.
Yani onların sahip oldukları llm modelleri içindeki datalar eski bile olsa, kullanıcı isteklerine göre prompt girdi ve sonuç değerlendirmesi anlık değişmekte.

LM Studio çok beğenilen uygulama olsa bile performans için tuning yapmanız gerekiyor. Ve localde çalışma anında diğer uygulamaları kapatıp gpu'nun gücünü llm e vermenizde fayda var.
Ve kullanım anında llm boyutuna bağlı olarak da (ev kullanıcısı için bu öneri) gpu ram miktarının 2-3 katı civarında ram sahibi olmanız llm cevap süresinde etkili.
İşletim sistemi olarak linux yapmanız halinde performans değerleriniz çok daha yüksek olacak. %10 ile %30 civarında fark ediyor.
Localdeki llm modellerine mutlaka modelfile (format tanımı) yapmanız avantajınıza olur. Yani sizden aldığım prompt ile çıktı verirken nelere dikkat etmesi gerektiğini belirtmeniz gerekiyor.
bu konuda GPT sizi yönlendirecektir.

Bu arada LLM eğitimi yapan arkadaşlar teknik kısmında çok daha faydalı bilgiler verebilir.

Eğer bir proje bazlı çalışma yapacaksanız, localdeki A6000 bile olsa size online modellerin vereceği performansı vermez.

Local modellerin en büyük avantajı şudur.
Tüm inputları siz tanımlarsınız. Yani çalışmak istediğiniz konuda veri girişi yaparsınız.
Basit bir örnek. Bir bina statik hesaplamasını yapacaksınızdır. Buna ait tüm formül ile değerlendirme konularını girdi olarak verirsiniz. Ve yeni projeye başladığınızda ise çok hızlı bir şekilde çıktı verir.
Bu tür eğitimleri ise google'ın kendi cloude yapısından faydalanabilirsiniz. Ücretsiz hizmet limitleri olduğu gibi ücretli hizmetleri de var diye biliyorum. geçen sene bazı pdf ler ile online eğitim denemesi yapmış idim. Beni sanırım gpt yönlendirmiş olabilir.
Bu tür işlemleri yaparken telekom un klasik isternet bağlantısını kullanmayın. Mümkün ise 100MB ve üstü up/down limitlerine sahip olduğunuzdan emin olun.

Resim olarak eklediğiniz modeller maalesef kırpılmış ve oldukça eski bağlama sahip modeller.

Localde belirli bir performans istiyorsanız;
Ana kart olarak Gen5 mimarisi olduğunu ve disklerin veri yolunun gpu'dan ayrı olduğundan emin olun.
GPU olarak min 5070ti kullanın. 5070ti için min 48GB DDR5 ama tercihen 64GB olması uygun olabilir.
OS olarak Debian - Fedora - CachyOS gibi bir OS tercih etmeniz avantajınıza olur.
Ben 1660Ti ekran kartı için CachyOS kurmuş ve tuning içinde Gemini'den adım adım her kod çalışma sonrası çıkan performansı değerlerini karşılıklı tartışarak yaptım. Sonuç olarak windows'a göre oldukça performanslı idi.
Ama GPU modeliniz ne olursa olsun mutlaka ModelFile yapısı ile iletişim kurmanızda fayda var.

Farklı bir öneri ise....
AMD nin Strix Halo (395) diye mini desktopları var. Ülkemizde 300k gibi bir fiyat olsa da, $ olarak yurt dışında 3k gibi fiyatlara satılıyor. Bunun 128 ram veya 64 ram modelleri oldukça faydalı olabilir. Performans olarak da 5070Ti ye yakın bir performans veriyor.
Bu Halo serisinin 2028 gibi Medusa serisi çıkacak (495 tahminen). Onun performansı ise ev kullanımı açısından oldukça tatmin edici seviyede bir beklenti var. Halo serileri çalıştırma amaçlı işlemicler. Eğitim için maalesef NVidia'nın kendi mini desktop box'ını almanız gerekiyor.

Başarılar

indirdiğiniz modellerle olmaz. en kötü ornith35b, qwen 3.6 27b veya moe modelini kullanmalısın. bu modellerden de amiral gemisi model performansı beklemeyin.

Opencode kullanmak isterseniz refli linkim : https://opencode.ai/go?ref=DNK1B4TQQ7 ilk ay 5$ + ikimizede 5$ veriyor.
Deepseek v4 modelleri var.
Ben güncel olarak sunucu üzerinden kullanıyorum. çoğu sağlayıcıyı bağlayabiliyorsunuz.
Şu modellerde ücretsiz gözüküyor:

Detaylı referans konumada bakmak isterseniz : https://www.r10.net/yapay-zeka/48258...seek-qwen.html