• 25-04-2024, 20:20:55
    #1
    Merhaba arkadaşlar, uzun zamandır hem mesleğimden (ML Engineer olarak Staj yapıyorum) dolayı ilgilendiğim hem de hobi amaçlı kendi bilgisayarımda kurduğum sistemi R10'da da tanıtmak istiyorum.

    Biliyorsunuz Yapay Zeka topluluklarını (ABD'de olanları) takip ediyorsanız, OpenSource yani açık kaynak olması için modellerin büyük bir baskı var firmaların üzerinde. Ve Son zamanlarda Tıpkı GPT(OpenAI) gibi yayınladığı müthiş açık kaynak büyük dil modelleri yayınlanmaya başladı.

    Bugün bahsedeceğim ve size fırsat olarak sunacağım 2 model var. Meta Llama 3 Modellerini yayınladı, 8 Milyar ve 70 Milyar Parametreli bu modeller, Benchmarklar'da bugün halıhazırda para vererek kullandığımız çoğu modeli çoğu görevde geçmiş bulunuyor, (özellikle 70B olan model.)


    Burada göreceğiniz üzere modellerin skorlamaları var. Meta yani eski adıyla Facebook bu modellerin yaklaşık 15 Trilyon Tokenla eğitildiğini söylüyor. (15.000.000.000.000)

    Bu modelleri güçlü bir bilgisayarınız varsa (En az GTX 1660 Super + 16 GB DDR4 Ram ve R5 5600 işlemci önerilir) bilgisayarınıza kurup çalıştırabiliyorsunuz.

    Normalde önyargılı yaklaştığım bu süreçte, modelleri kurduktan sonra hayran kaldım. Ben 8B olan modeli kurdum bilgisayarımın desteklediği max model o çünkü, ve bir UI kurulumu da yaparak Localhost'ta yani kendi bilgisayarınızda hiçbir yere bağımlı olmadan en az GPT3.5 kadar iyi performans gösteren(Özellikle İngilizce, Türkçe performansları biraz zayıf) (Kodlama, Yaratıcı hikaye yazımı, Roleplay, sohbet) aklınıza gelebilecek her şeyi yapabilen bir Yapay Zeka arkadaşınız oluyor.

    Kurulum aşaması biraz meşakatli, ben ücretiyle bu kurulumu yaptığımı söylemek istiyorum. UI yani arayüz olmadan 250 TL'ye bilgisayarınız eğer destekliyorsa bu kurulumu yapıp sizlere teslim ediyorum, kendi GPT'nizi kendi bilgisayarınızda kullanmaya başlıyorsunuz. Eğer ChatGPT gibi bir site arayüzünde kullanmak istiyorsanız da 500 TL'ye kurulumu tamamlayıp teslim ediyorum.

    Bir Benchmark skoru daha paylaşacağım diğer modellerle karşılaştırma olarak.






    Bu da kurulum sonrası Arayüz'ün görüntüsü. ChatGPT'ye benzer, modellerin serverlar üzerinde kurulumu veya projelerde kullanımı hakkında detaylı konuşabiliriz, Mesaj yolu her zaman açık, saygılarımla iyi akşamlar.
  • 26-04-2024, 00:34:04
    #2
    aylik ucreti nedir
  • 26-04-2024, 10:03:49
    #3
    Selamlar hocam, aylık ücreti yok. Tek seferlik kurulum yapıyoruz ve bilgisayarınızdan istediğiniz zaman kullanabiliyorsunuz
  • 27-04-2024, 01:20:09
    #4
    Hocam emeğinize sağlık indirme linkleri paylaşırmısınız? Deploy ederken ekstra birşeye gerek var mı?
  • 27-04-2024, 15:37:01
    #5
    suncreative adlı üyeden alıntı: mesajı görüntüle
    Hocam emeğinize sağlık indirme linkleri paylaşırmısınız? Deploy ederken ekstra birşeye gerek var mı?
    Local olarak istediğiniz modeli sisteminizde çalıştıracak program. Teknik bilgiye gerek yok direkt yükleyip istediğiniz modeli indirip kullanabiliyorsunuz. Sisteminizin kaldırabileceği modelleri vs. Belirtiyor program.

    https://lmstudio.ai/
  • 29-04-2024, 13:27:19
    #6
    suncreative adlı üyeden alıntı: mesajı görüntüle
    Hocam emeğinize sağlık indirme linkleri paylaşırmısınız? Deploy ederken ekstra birşeye gerek var mı?
    https://huggingface.co/meta-llama/Meta-Llama-3-8B Selamlar, geç gördüm kusura bakmayın. Modelin indirme linki burada.Quantized olan versiyonlarına bakmanızı tavsiye ederim ciddi VRAM'iniz yoksa.
  • 29-04-2024, 14:40:22
    #7
    scutotech adlı üyeden alıntı: mesajı görüntüle
    https://huggingface.co/meta-llama/Meta-Llama-3-8B Selamlar, geç gördüm kusura bakmayın. Modelin indirme linki burada.Quantized olan versiyonlarına bakmanızı tavsiye ederim ciddi VRAM'iniz yoksa.
    Teşekkürler hocam indirip kurdum test ettim windows makinada 32 gb ramle kastı biraz macbook m2 pro 8gb ramli cihazımda denedim baya iyi çalıştı. Mistral denedim o daha performanslı geldi bana.
  • 29-04-2024, 14:45:46
    #8
    suncreative adlı üyeden alıntı: mesajı görüntüle
    Teşekkürler hocam indirip kurdum test ettim windows makinada 32 gb ramle kastı biraz macbook m2 pro 8gb ramli cihazımda denedim baya iyi çalıştı. Mitral denedim o daha performanslı geldi bana.
    Mistraller hız açısından daha iyiler ama benchmark skorlarında biraz geriler hocam. Macbook gerçekten Neural Engine sayesinde çok iyi çalıştırıyor modelleri.
  • 29-04-2024, 15:41:52
    #9
    vm üzerindeki bir makinaya kurulumu yapıp domain ile erişim verebiliyor muyuz
    bunun için ücret nedir ?