llama3.1 Kullanan Hocalarıma Sorum Var.

Merhaba, bildiğiniz gibi LLaMA (Ollama) sayesinde yerel bilgisayarımızda donanımımızın yettiği kadar kendimize özel bir yapay zeka aracı çalıştırabiliyoruz. Ryzen 5 5600 ve 4070 Super (12GB) ikilisini kullanıyorum ve LLaMA 3.1:8B modelini kurdum. Ancak, 70B modeli neredeyse Google ve GPT'nin son çıkan modellerine eşit sonuçlar veriyor.
Sorum şu: Mevcut donanımla 70B modelini kullanabilir miyim? Bir zararı olur mu?
Bkz: OpenWebUI Destekli Ollama Görüntüsü.

Sistem kaynaklarınızı oldukça fazla tüketecektir; ancak biraz fan sesi ve ısı artışından başka bir problem yaratacağını sanmıyorum.

Performanslı çıktılar verdiği sürece sistemin güç tüketmesi veya ısınması hiç problem değil benim açımdan. Ancak bazı forumlarda 4090 gibi uçuk kartları önerenler olmuş en az 30gb Vram vs öneriyorlar yani 70B modeli için bu da beni korkuttu açıkcası

Kullanabilirsiniz ancak performans ve stabilite sorunları yaşamanız çok muhtemel. Tavsiye edilmez çünkü bu, donanımınız için büyük bir yük olacaktır ve verimli çalışmayacaktır.

Hocam açıkçası ben bunu ilk defa duydum GitHub repo linki varmıdır acaba?

Anladım o halde heyecana gerek yok gibi duruyor çünkü kararlı çıktı vermedikten sonra bir önemi kalmıyor.

https://github.com/open-webui/open-webui Ollama ve Docker kurulu olması gerekiyor hocam youtube da kurulum videoları var

kesinlikle katılıyorum karalı çıktı almak her şeyden önemli donanımız zorlayarak elde edeceğin sonuçlar tatmin edici olmayabilir 8b modeli ile devam etmek daha mantıklı

Sağolun hocam bende kolunuza cevaben ayrıca şu ss ı eklemek isterim