Bu cihazlarda context boyutuda çalıştıracağınız modele göre değişiyor. 397b parametreli modeller için baktığımda bile bazı modeller hariç 1m context yakalamak zor oluyordu. Bu konuda da bir araştırmanız var mı? benim araştırmam kör araştırma olduğu için tamamen ai üzerinden sohbetle edindiğim bilgiler. AI tarafında bu tarz çözümler için bilgim/yetkinliğim yok. Mac Studio yu bende düşünüyorum. Ama belirttiğiniz konfigürasyon yok. 256gb lık model var onunda ücreti 700k bandında.
Mac Studio 512GB ekim sonu çıkıyormuş (O zaman çok yüksek modele bakmamıştım), Türkiye fiyatı vergilerle beraber büyük ihtimalle 1 milyonu aşar. Modelin kendi eğitildiği maksimum context sınırı neyse onu zaten aşamıyoruz. Model büyüdükçe belleğin çoğunu kaplıyor, bu yüzden context'e daha az yer kalıyor. Ayrıca bazı modeller aynı context için çok daha az bellek harcıyor.