Hocam bireysel olarak tabiki Sunucuda llm çalıştırıp SaaS projesi geliştiremeyiz. ama elbet ufak ufak sektör oluşacak. Her sektöre uyumlu basit modeller telefonda ortalama bir sunucuda sanayide. her yere küçük modeller girecek... o ufak modeller ne işe yarıyor ??? gün gelip yarayacak.
zaten öyle oluyor, basit işler küçük modele kayıyor telefonda bile çalışıyor. ağır iş yine büyük modelde kalır, ikisi yan yana gider. o ufak modeller şu an bile işe yarıyor aslında, fark etmeden kullanıyoruz.
kısıtlı imkanla maksimum fayda sağlayabileceğim her seçeneği değerlendirmeye çalıştım. hatta telefonu llm host'a çevirdiğim bir konu da mevcut forumda
https://www.r10.net/yapay-zeka/48798...a-cevirin.html
burada değinmek istediğim ai'nin gelecekte sürdürülebilir bir maliyeti son kullanıcı açısından çok olası olmayacağı. çemberi daraltıyorlar, ai'yi sadece hizmet aldığımız bir ajan uygulaması olarak düşünmemeliyiz. arkasında gerçek donanım, yazılım ve enerji maliyeti var. açık kaynak seçenek için şuan türkiye şartlarında güçlü bir bilgisayar toplamanın maliyeti belki 1 milyon lirayı buluyor. peki bilgisayar ile iş bitiyor mu? elektrik maliyeti ne olacak? bu açık kaynakların çekirdeğini yine dev firmalar oluşturuyor, apple'ın donanım çürüten yazılım güncellemeleri gibi sinsi hamleler yaparlarsa yerel modeller için yatırım yaptığımız donanımlara ne olacak?
