Local Ai Kullananlara Bakabilir mi

Bugün, 11:01:59

Arkadaşlar Ne işler için local ai kullanıyorsunuz ? sistemi toplamak için 250 300 bin bir model içni masraf yapmaya gerek var mı ? claude her şeyi hallediyor. ekstra yardımcı olacak bir local ai gerek var mı ? tecrübeleriniz nedir ?

Bugün, 11:11:49

#2

darkland

kastınız sanırım vide coding.. lokal kullanmanın maliyetine degmez performans için 1m ₺ üzerinde yatırım gerekli o halde bile fable'ın performansını alamazsınız ancak gpt 3.5turbo vs performansını alırsınız.
Lokal ai daha çok
- veri analizi
- görsel oluşturma
- arşiv yönetimi
- deşifre işlemleri gibi alanlarda belediye ve valilikler için uygulama geliştirme amacıyla kullanıyorum.

Bugün, 11:12:30

#3

CloudServers

Cloud Manager

Büyük bir şirketiniz varsa min 40-50m degerinde ve verileriniz gizli kalsın istiyorsanız local kullanmak mantıklı ancak 300-400k ile 72B gibi modeller yavaş çalışır diye düşünüyorum.

Daha küçük bir şirketiniz varsa localde calışmanın mantığı yoktur. Gereksiz masraf

Bugün, 11:12:58

#4

Frown

darkland adlı üyeden alıntı: mesajı görüntüle

kastınız sanırım vide coding.. lokal kullanmanın maliyetine degmez performans için 1m ₺ üzerinde yatırım gerekli o halde bile fable'ın performansını alamazsınız ancak gpt 3.5turbo vs performansını alırsınız.
Lokal ai daha çok
- veri analizi
- görsel oluşturma
- arşiv yönetimi
- deşifre işlemleri gibi alanlarda belediye ve valiliklere için uygulama geliştiriyorum.

yok zaten vibe coding alamacagımı biliyorum ekstra olarak değerlendirmek istedim

Bugün, 11:13:30

#5

Frown

CloudServers adlı üyeden alıntı: mesajı görüntüle

Büyük bir şirketiniz varsa min 40-50m degerinde ve verileriniz gizli kalsın istiyorsanız local kullanmak mantıklı ancak 300-400k ile 72B gibi modeller yavaş çalışır diye düşünüyorum.

Daha küçük bir şirketiniz varsa localde calışmanın mantığı yoktur. Gereksiz masraf

teşekkür ederim

Bugün, 11:22:23

#6

OnurAksoy

Ne için kullanacağına göre değişir. Ben intentle uğraşmam için botlarımda veri kategorize etmek için sıcaklığı sıfırlayıp kullanıyorum. Döküman analizleri klasörleme işleri için falan kullanıyorum mesela elimde 1393 tane pdf vardı, bunları veri tabanına çekmem lazım intent bir yapıyla uğraşmamak için veya api ye para vermemek için localde takılıyorum. Aynı şekilde i18n işlemleri içinde kullanıyorum. bu işler için de zaten 300 400'lük pc'ye gerek olmuyor benim emektar 3060 12GB vramıyle gemma 4 ü paşalar gibi çalıştırıyor.
isteğin görsel üreteyim, llm çalıştırayım, ne bileyim kodları yazsın falansa apiler veya ide'ler her türlü daha ucuza geliyor ve daha stabil çalışıyor

Bugün, 11:31:36

#7

Pos3idon

hocam kısaca şöyle düşün senin veri analizi - yorumlama veya karar verme mekanizmalarını Aİ ye yüklüyorsun o sana fikir veriyor ben OLLAMA kullanıyorum botlarım da benim yerime işlem analizi yapıp bana bilgi veriyor saatlerce veriler arasında kaybolmuyorum 2 saatlik işimi 30dk yapıp çıkıyorum

Bugün, 11:33:48

#8

Frown

OnurAksoy adlı üyeden alıntı: mesajı görüntüle

Ne için kullanacağına göre değişir. Ben intentle uğraşmam için botlarımda veri kategorize etmek için sıcaklığı sıfırlayıp kullanıyorum. Döküman analizleri klasörleme işleri için falan kullanıyorum mesela elimde 1393 tane pdf vardı, bunları veri tabanına çekmem lazım intent bir yapıyla uğraşmamak için veya api ye para vermemek için localde takılıyorum. Aynı şekilde i18n işlemleri içinde kullanıyorum. bu işler için de zaten 300 400'lük pc'ye gerek olmuyor benim emektar 3060 12GB vramıyle gemma 4 ü paşalar gibi çalıştırıyor.
isteğin görsel üreteyim, llm çalıştırayım, ne bileyim kodları yazsın falansa apiler veya ide'ler her türlü daha ucuza geliyor ve daha stabil çalışıyor

Tamamdır cok teşekkür ederim

Bugün, 11:34:12

#9

Frown

Pos3idon adlı üyeden alıntı: mesajı görüntüle

hocam kısaca şöyle düşün senin veri analizi - yorumlama veya karar verme mekanizmalarını Aİ ye yüklüyorsun o sana fikir veriyor ben OLLAMA kullanıyorum botlarım da benim yerime işlem analizi yapıp bana bilgi veriyor saatlerce veriler arasında kaybolmuyorum 2 saatlik işimi 30dk yapıp çıkıyorum

örnek verebilir misin