Yapay zekânın aşırı pahalı olduğu gerçeği

Ölü yatırım kısmına katılmıyorum tamamen sansürsüz ve limitsiz kullanım yapılabilir yerele geçince buda pek çok avantaj getiriyor

sansürsüz limitsiz kısmına katılıyorum hocam ona lafım yok. benim dediğim 480b ölçeği özelinde, o karta vereceğin parayla yıllarca api kullanırsın. küçük model koşacaksan local mantıklı, dev modelde değil.

Ordada ekip giriyor devreye 5-8 arası bir ekip ofise yerel modeli kurup apiden kullanabilir çünkü hem video,görsel hemde kodlama için kullanılabiliyor o ölçekte modeller

Şu an api den devam etmek en mantıklı iş

Vallahi siz ne yapıyorsunuz anlamıyorum arkadaş.
ChatGPT Sol benim işimi fazlasıyla görüyor.
Bu kadar harcadığınız parayı kazanıyor musunuz acaba yoksa yapmak için mi yapıyorsunuz bir şeyler?

Hocam, milyonlarca liralık donanım yatırımı ilk bakışta göz korkutucu dursa da, bahsettiğiniz bu yapı standart bir bilgisayar değil, uzun yıllar işinizi görecek başlı başına bir AI center. Bu sistemin yanınızda çalıştıracağınız en az 50 kişinin işini tek başına üstlenebildiğini düşünün. 50 personelin maaş, sigorta, yol, yemek ve prim gibi devasa aylık sabit giderleriyle kıyasladığınızda, bu merkez devasa bir ekibin yapacağı işi yıllar boyu çok daha stabil, insani hatalardan arındırılmış ve mükemmele yakın bir seviyede tek başına yürütecektir. Bu haliyle dahi kar da olacaksınız.

Bahsettiğiniz operasyonu ve maliyeti aslında bir evden ziyade koca bir otel satın alıyor gibi düşünün. İster tüm odalarında sadece kendiniz yaşar keyfini sürersiniz, isterseniz de odaları kiraya verip ciddi bir kar elde edersiniz. Tam da bu noktada sizin misyonunuz ve vizyonunuz devreye giriyor. Böylesine güçlü bir yatırım yapıyorsanız, bu sistemi sadece kendi iç işlerinizde tutmak yerine mutlaka dış dünyaya açmalı ve bir gelir modeline dönüştürmelisiniz. Kendi barındırdığınız bu gücü API hizmetleri olarak diğer geliştiricilere veya kurumlara kiralayabilir, aylık abonelik tabanlı yapay zeka araçları sunabilir veya veri gizliliğinin kritik olduğu niş sektörlere özel çözümler pazarlayabilirsiniz. Doğru ve ticari karşılığı olan projelerle birleştiğinde, bu devasa sistem elde edilecek gelirlerle kendisini çok kısa sürede amorti edecektir.

Yapay zekanın gelecekte daha da pahalılaşacağı endişesine gelirsek, bence bu teknolojinin ilerleyiş doğasına pek uymuyor. Çünkü sınırları zorlayan tepe modeller her zaman devasa donanımlar isteyecektir ancak donanım maliyetleri performans başına sürekli düşer. Yakın gelecekte birleşik bellek mimarisinin PC dünyasında standartlaşması, enerji verimli özel çiplerin yaygınlaşması ve dev modellerin zekasının çok daha hafif sistemlere aktarıldığı model damıtma teknolojileri sayesinde donanım bariyerleri ciddi şekilde yıkılacak. Sektörün geleceğinde milyonluk yerel donanım zorunluluğundan ziyade, cihazınızda şimşek hızında çalışan hiper-optimizeli yerel modeller ve yalnızca en ağır yükler için buluta çıkan akıllı hibrit sistemler standart hale gelecek.

Üstelik süreç sadece bu donanımsal ve yazılımsal gelişmelerle de sınırlı kalmayacak. Nüfus artışı, hızlanan teknolojik devrim ve yapay zekanın hayatımızın her alanına entegre olması sebebiyle, şirketler ve ülkeler arasındaki teknoloji savaşları devasa kitlelere en uygun maliyetle ulaşma yarışına dönüşecektir diye tahmin ediyorum. Ben bu durumun kullanıcılar açısından maliyetleri artırmaktan ziyade çok daha azaltacağı kanaatindeyim. Pazar inanılmaz büyüyecek, pastadan pay kapma rekabeti kızışacak ve her meslek, her demografik yapı, hatta her sosyal yaşam tarzı için özel çözümler üretilmek zorunda kalınacak. Rakiplerin, markaların ve farklı entegrasyonların çoğalmasıyla doğacak bu sürekli inovasyon ve çeşitlilik ortamı, günün sonunda teknolojiyi hepimiz için çok daha erişilebilir ve ucuz hale getirecektir.

Bu bütçeler bireysel kullanım için her ne kadar yüksek gibi görünse de, kurumsal veya orta ölçekli işletmeler için cazip rakamlar haline geliyor sadece bu yıl çalıştığım şirket 10milyon'a yakın yapay zeka yatırımı yaptı yapmaya da devam ediyor

Bu rakamlarla 200 dolarlık abonelik yıllarca gidiyor, yerel kurulum ancak veri dışarı çıkamıyorsa mantıklı. Öyle bir zorunluluk yoksa önce bir ay bulutta GPU kiralıyıp gerçekte ne kadar kullandığını ölçmek daha akıllıca.

local llm kurmak mantıksız gerçekten şu anda. açık kaynak llmler yetersiz. gidin gpulu sunucular kiralayın saatlik işinizi görün. şu anda kapalı kaynaklar uygun fiyatta.