Ben modeli GPU olan bir sunucuda kullanıyorum kendim ayaklandırmıyorum başkasından hizmeti alıyorum, karşılığında da belli bir ücret ödüyorum.
İlk başta kendim çalıştırmak istedim ancak masrafları fazla çıktığı için vazgeçtim.
Bu model 1.65TB alan istiyor ancak gguf modeli ile 241GB'ye düşüyor. Aşağıdaki bağlantıda adım adım anlatıyor deneyebilirsiniz:
https://unsloth.ai/docs/models/glm-5
Muhtemelen sizle aynı yoldan geçiyor olacağım hocam
Biraz araştırdım modeller için baya güclü diskler ve cpu + ram gerekli.
Agent mimarisine heves ettim, bunu kurmak istiyorum. Bunu araştırıyorum suanda GLM 5 için en uygun apiyi sağlayan yeri biliyor musunuz acaba ?
Yardımınız için şimdiden teşekkür ederim.