lastasmile adlı üyeden alıntı: mesajı görüntüle
Api limitinden daha çok stabilite için yapılır. Geçenlerde hesapladım baya kafa yordum. Claude 100 dolarlık paketi alacağıma local bir sistem toplayayım hem limit sorunu hem de her gün değişen performans sorunları yaşamam diye düşündüm. Amorti etmesi yaklaşık 8 yıl sürüyor, maddiyat olarak saçma oluyor yani. Daha da büyük sorun glm 5.2 performansı opus 4.8e benzer evet fakat local bir sistem topladığınızda glm 5.2 yi asla tam olarak kullanamayacaksınız. Nvidianın çıkardığı cihaz 128gb vrame sahip. Glm 5.2 yi sıkıştırmasız kalite kayıpsız tam ve sonuna kadar kullanmak isterseniz o cihazdan 4-5 tane almak gerekiyor. Buradan bakınca da saçma oluyor.
Localde bağımsızlığı ilan edebilmek gerçekten bu devirde yapılabilecek en büyük başarımlardan birisi ama gel gör ki çok zor..
GLM-5.2-90B var hocam 90 gb ram istiyor bu iş görür mü spark da ?