llama3.1 Kullanan Hocalarıma Sorum Var.

Question

Merhaba, bildiğiniz gibi LLaMA (Ollama) sayesinde yerel bilgisayarımızda donanımımızın yettiği kadar kendimize özel bir yapay zeka aracı çalıştırabiliyoruz. Ryzen 5 5600 ve 4070 Super (12GB) ikilisini kullanıyorum ve LLaMA 3.1:8B modelini kurdum. Ancak, 70B modeli neredeyse Google ve GPT'nin son çıkan modellerine eşit sonuçlar veriyor.
Sorum şu: Mevcut donanımla 70B modelini kullanabilir miyim? Bir zararı olur mu?
Bkz: OpenWebUI Destekli Ollama Görüntüsü.

Spoiler Göster

CSA · Answer

Sistem kaynaklarınızı oldukça fazla tüketecektir; ancak biraz fan sesi ve ısı artışından başka bir problem yaratacağını sanmıyorum.

enessafak · Answer

CSA adlı üyeden alıntı:						mesajı görüntüle									Sistem kaynaklarınızı oldukça fazla tüketecektir; ancak biraz fan sesi ve ısı artışından başka bir problem yaratacağını sanmıyorum. 		Performanslı çıktılar verdiği sürece sistemin güç tüketmesi veya ısınması hiç problem değil benim açımdan. Ancak bazı forumlarda 4090 gibi uçuk kartları önerenler olmuş en az 30gb Vram vs öneriyorlar yani 70B modeli için bu da beni korkuttu açıkcası

FronzShop · Answer

enessafak adlı üyeden alıntı: mesajı görüntüle

Merhaba, bildiğiniz gibi LLaMA (Ollama) sayesinde yerel bilgisayarımızda donanımımızın yettiği kadar kendimize özel bir yapay zeka aracı çalıştırabiliyoruz. Ryzen 5 5600 ve 4070 Super (12GB) ikilisini kullanıyorum ve LLaMA 3.1:8B modelini kurdum. Ancak, 70B modeli neredeyse Google ve GPT'nin son çıkan modellerine eşit sonuçlar veriyor.
Sorum şu: Mevcut donanımla 70B modelini kullanabilir miyim? Bir zararı olur mu?
Bkz: OpenWebUI Destekli Ollama Görüntüsü.

nordmedya · Answer

Hocam açıkçası ben bunu ilk defa duydum GitHub repo linki varmıdır acaba?

enessafak · Answer

FronzShop adlı üyeden alıntı:						mesajı görüntüle									Kullanabilirsiniz ancak performans ve stabilite sorunları yaşamanız çok muhtemel. Tavsiye edilmez çünkü bu, donanımınız için büyük bir yük olacaktır ve verimli çalışmayacaktır. 		Anladım o halde heyecana gerek yok gibi duruyor çünkü kararlı çıktı vermedikten sonra bir önemi kalmıyor.

enessafak · Answer

nordmedya adlı üyeden alıntı: mesajı görüntüle

Sağolun hocam bende kolunuza cevaben ayrıca şu ss ı eklemek isterim

Mevcut sistemle 70b modeller hayal gibi ama olsun ollama üzerinde llama ve onun da dışında bir çok sansürsüz model var onları deneyeceğim

FronzShop · Answer

enessafak adlı üyeden alıntı: mesajı görüntüle

Merhaba, bildiğiniz gibi LLaMA (Ollama) sayesinde yerel bilgisayarımızda donanımımızın yettiği kadar kendimize özel bir yapay zeka aracı çalıştırabiliyoruz. Ryzen 5 5600 ve 4070 Super (12GB) ikilisini kullanıyorum ve LLaMA 3.1:8B modelini kurdum. Ancak, 70B modeli neredeyse Google ve GPT'nin son çıkan modellerine eşit sonuçlar veriyor.
Sorum şu: Mevcut donanımla 70B modelini kullanabilir miyim? Bir zararı olur mu?
Bkz: OpenWebUI Destekli Ollama Görüntüsü.

nordmedya · Answer

enessafak adlı üyeden alıntı:						mesajı görüntüle									https://github.com/open-webui/open-webui Ollama ve Docker kurulu olması gerekiyor hocam youtube da kurulum videoları var 		Sağolun hocam bende kolunuza cevaben ayrıca şu ss ı eklemek isterim

enessafak · Answer

nordmedya adlı üyeden alıntı:						mesajı görüntüle									Sağolun hocam bende kolunuza cevaben ayrıca şu ss ı eklemek isterim
 		Mevcut sistemle 70b modeller hayal gibi ama olsun ollama üzerinde llama ve onun da dışında bir çok sansürsüz model var onları deneyeceğim

Mr_information · Answer

enessafak adlı üyeden alıntı:						mesajı görüntüle									Merhaba, bildiğiniz gibi LLaMA (Ollama) sayesinde yerel bilgisayarımızda donanımımızın yettiği kadar kendimize özel bir yapay zeka aracı çalıştırabiliyoruz. Ryzen 5 5600 ve 4070 Super (12GB) ikilisini kullanıyorum ve LLaMA 3.1:8B modelini kurdum. Ancak, 70B modeli neredeyse Google ve GPT'nin son çıkan modellerine eşit sonuçlar veriyor.
Sorum şu: Mevcut donanımla 70B modelini kullanabilir miyim? Bir zararı olur mu?
Bkz: OpenWebUI Destekli Ollama Görüntüsü.

Spoiler Göster

Merhaba,
70B modelini tek kartla çalıştırmayı hayal bile etmeyin hocam. Hangi kart olursa olsun düzgün bir çıktı vermeyecektir.
Yükleyip kurarsınız problem yok ama 10 kelimeyi 20 saniyede ancak yazar. Çıktılarda kararsız olur.

Şahsen bir ara denemiştim ama yapılacak iş gerçekten değil. İnanılmaz fazla sistem kaynağı istiyor. 400B modelini saymıyorum bile