Local.ai - Erken Erişim

İyide arkadaşlar bu tür bir bilgi için bu tür bir siteye neden üye olmak isteyeyim ?
Ve üyeliğimin onaylanması için başka birinin benim davetim ile de üye olması gerekiyor.
Sizce scam bir mantık değil mi ?
Firmaların veya araştırma yapan sitelerde bu tür bilgiler paylaşılıyor.
Ayrıca kendim 1660Ti ile CachyOS Linux ile yaptığım denemelerde diğer sitelerden 2-3 token daha fazla aldım.
Sonuç olarak herhangi bir llm bu sonuçları araştırma yaparak veriyor.
Hatta AMD nin henüz teknik detayları belli olmayan Medusa Halo 595 serisi işlemci için bile tahmini sonuçları, firmanın mevcut işlemci ve hedefdeki işlemci ile ilgili dökümanlarından veriyor.

Localde bir LLM mi çalıştırmak istiyorsunuz ? Güzel.
Min 32GB vram ortalama 48-96 vram ile çalıştırabileceğiniz model 70B. karşınızda en kötü online model 500B parametreye sahip.

Şuan indirmek isteyeceğiniz llm dosyalarında, mesleki bilgi/uzmanlık olarak bir özel eğitim olmadığı sürece localdeki sonuçların tam olarak karşılaştırılması nasıl faydalı olacak ?

Üyelikleri aktif olanlar lütfen o sitede paylaşımlardan örnek verebilir mi ?

Benim GPT veya Claude ile soru cevap şeklinde alamayacağım bir fantezik işlemi nasıl paylaştıklarını mirak ediyom.

Ayrıca, sağda solda vram olmadan CPU-RAM üzerinde model çalıştırma fantezisi konusunda paylaşımlar oldu ve oluyor. Youtuberlar bu konuda baya içerik hazırladı. Gel görki birisi çıkıp da o script i denememiş.
Ben denedim. Büyük bir hayal kırıklığı. Sebebi kullandığım 1660ti değil. Scriptin çalışabilmesi için gerekli - mantıklı OS ve script deki işlemlerde çıkan hata çözümlerinin açıklama olarak eklenmemesi.

Hadi.. Bak ilerde bir yüksek yer var.
Kendimizi oradan atınca online llmler beynimizde soru cevap şeklinde çalışıyor

Localde LLM mi çalıştırmak istiyorsunuz..
a) A6000
b) NVidia mini box
c) AMD Halo işlemcili mini box ve NAS yapısı

Adamlar Halo 395 işlemciyi alıp 5 diskli bir NAS içerisine entegre etmişler.
İstersen desktop gibi kullan. İstersen de klasik nas olarak kullanırken, NVME-ler üzerinden de local llm çalıştır. BU NAS da tek sorun şu. max ram 64GB. Halo 395+ da ise 128 ram var. Bununda genel olarak 96'sını llm e verebiliyorsun.
Nas da maalesef Gen4 ana kart kullanmışlar. NAS 280W güç tüketiyor. Pikleri ile de olsun 400W

yani senin pc içinde çalıştıracağından teorik olarak daha iyi.

Eğer llm modelleri uzmanlık olarak ayrılıp parametreleri bu konuda modifiye edilmedikçe, reel manada her poğhhh içinde minimal derecede olan bir llm i çalıştırmak pek de mantıklı gelmiyor.

Bunu da şu şekilde fantezikledim.
A1 llm modeli 7-8B.. Html - js - css içerikli
A2 llm modeli 7-8B.. C ve kendi türevleri
A3 llm modeli 7-8B.. Python
A4 llm modeli 7-8B.. php - vs

Bu şekilde bir uzman llm yapısı olduğunda, herkesin ram de bile çalışan bir llm ile offline çalışması mantıklı olur. Kendinize özel agent skill yapısı ile ortaya çıkacak başarılar artar.

Ama içinde her halt yarım olan bir llm modelinin sonucu şüpheli. 70B olması da sonucu çok etkilemez.
Yarım doktor - yarm imam konusu

Amaç gerçek kişilerin deneyimleriyle ortak bir bilgi yığını bulmak.
Davetiye mantığı tamamen üye çekmek için muhtemelen kendilerince bir reklam yapmışlar. Bir nedenleri yoksa tamamen saçma olduğunu kabul ediyorum.

Local bir cihazda herhangi bir AI modeli çalıştırmak isteyen ne yapmalı? İşte cevabı bu sayfada.

- Hangi donanım hangi modelleri kaldırıyor? Fiyatı ne.
- Fiyatı ne?
- Ne kadar güç tüketiyor.
- Bu cihazda çalışabilecek en hızlı/akıllı model hangisi.
- GGUF fromatında bir model kullanacaksınız hangi varyantı kullanan nasıl bir sonuç alımış.

Dediğim gibi kısaca Local AI için donanım, model bilgisinin gerçek kullanıcı deneyimleriyle oluşan bir kaynak.

@cemalgnlts;
Genç arkadaşım. Ülkemiz açısından hepsi lüx seviyede.
Ama ortak bir bilgi vereyim
Gen5 anakart kullanmak zorundasın ve bu ana kart da harddisk veri yolu ile gpu veri yolu ayrı olacak. Olmaz ise GPU 8x çalışıyor. Çünki diskler ile aynı veri yolunu paylaşıyor
VRAM ile RAM katmanı. Kullanacağın VRAM in 2 veya 3 katı ram kullanman avantaj. Model vram e sığmadığında ram üzerinden paylaşım yaparsın. Her işlemci son üretim hızlı ram i desteklemez. Dolayısı ile de buna dikkat etmen gerek.
CPU nun çekirdek sayısı ve L3 kapasitesi ne kadar yüksek ise sana avantaj sağlar.
O sebeple deki AMD nin Threadripper ve EPYC işlemcileri o sebeple biraz önde gidiyor.
OS ile LLM model dosyasını ayrı disklere ve gen5 modele yüklemen ile alacağın token da ufak tefek fark olacaktır.

Local de llm çalıştıracaksan, tercih edeceğin işletim sistemi Linux olması her açıdan avantaj olacaktır.
Cuda maalesef şuan için en önde gidiyor. Windows da kullanacak ise ekran kartı driver'ını sen yükleme, Cuda ile gelen tercih edilen driverı kullanman faydalı.
gibi gibi temel konular sonrasıgelir

Doğru ona katılıyorum şu anki sundukları makineler kolay erişilebilir değil.
Forumda da illa GPU kiralayıp testler yapanlar vardır ileride daha düşük makineler de eklenecektir o zaman daha yararlı olacaktır.

Siz belli bir bilgi seviyesine sahipsiniz ama yeni başlayanlar veya belli bir model seçmek denemek isteyenler için bu fikirde bir sayfa oldukça yararlı olacaktır.
Tüm olay gerçek kullanıcı deneyimine (verisine) sahip olmak.