İyide arkadaşlar bu tür bir bilgi için bu tür bir siteye neden üye olmak isteyeyim ?
Ve üyeliğimin onaylanması için başka birinin benim davetim ile de üye olması gerekiyor.
Sizce scam bir mantık değil mi ?
Firmaların veya araştırma yapan sitelerde bu tür bilgiler paylaşılıyor.
Ayrıca kendim 1660Ti ile CachyOS Linux ile yaptığım denemelerde diğer sitelerden 2-3 token daha fazla aldım.
Sonuç olarak herhangi bir llm bu sonuçları araştırma yaparak veriyor.
Hatta AMD nin henüz teknik detayları belli olmayan Medusa Halo 595 serisi işlemci için bile tahmini sonuçları, firmanın mevcut işlemci ve hedefdeki işlemci ile ilgili dökümanlarından veriyor.

Localde bir LLM mi çalıştırmak istiyorsunuz ? Güzel.
Min 32GB vram ortalama 48-96 vram ile çalıştırabileceğiniz model 70B. karşınızda en kötü online model 500B parametreye sahip.

Şuan indirmek isteyeceğiniz llm dosyalarında, mesleki bilgi/uzmanlık olarak bir özel eğitim olmadığı sürece localdeki sonuçların tam olarak karşılaştırılması nasıl faydalı olacak ?

Üyelikleri aktif olanlar lütfen o sitede paylaşımlardan örnek verebilir mi ?

Benim GPT veya Claude ile soru cevap şeklinde alamayacağım bir fantezik işlemi nasıl paylaştıklarını mirak ediyom.

Ayrıca, sağda solda vram olmadan CPU-RAM üzerinde model çalıştırma fantezisi konusunda paylaşımlar oldu ve oluyor. Youtuberlar bu konuda baya içerik hazırladı. Gel görki birisi çıkıp da o script i denememiş.
Ben denedim. Büyük bir hayal kırıklığı. Sebebi kullandığım 1660ti değil. Scriptin çalışabilmesi için gerekli - mantıklı OS ve script deki işlemlerde çıkan hata çözümlerinin açıklama olarak eklenmemesi.

Hadi.. Bak ilerde bir yüksek yer var.
Kendimizi oradan atınca online llmler beynimizde soru cevap şeklinde çalışıyor

Localde LLM mi çalıştırmak istiyorsunuz..
a) A6000
b) NVidia mini box
c) AMD Halo işlemcili mini box ve NAS yapısı

Adamlar Halo 395 işlemciyi alıp 5 diskli bir NAS içerisine entegre etmişler.
İstersen desktop gibi kullan. İstersen de klasik nas olarak kullanırken, NVME-ler üzerinden de local llm çalıştır. BU NAS da tek sorun şu. max ram 64GB. Halo 395+ da ise 128 ram var. Bununda genel olarak 96'sını llm e verebiliyorsun.
Nas da maalesef Gen4 ana kart kullanmışlar. NAS 280W güç tüketiyor. Pikleri ile de olsun 400W

yani senin pc içinde çalıştıracağından teorik olarak daha iyi.

Eğer llm modelleri uzmanlık olarak ayrılıp parametreleri bu konuda modifiye edilmedikçe, reel manada her poğhhh içinde minimal derecede olan bir llm i çalıştırmak pek de mantıklı gelmiyor.

Bunu da şu şekilde fantezikledim.
A1 llm modeli 7-8B.. Html - js - css içerikli
A2 llm modeli 7-8B.. C ve kendi türevleri
A3 llm modeli 7-8B.. Python
A4 llm modeli 7-8B.. php - vs

Bu şekilde bir uzman llm yapısı olduğunda, herkesin ram de bile çalışan bir llm ile offline çalışması mantıklı olur. Kendinize özel agent skill yapısı ile ortaya çıkacak başarılar artar.

Ama içinde her halt yarım olan bir llm modelinin sonucu şüpheli. 70B olması da sonucu çok etkilemez.
Yarım doktor - yarm imam konusu