Hocam bu modellerin 2 Tb diske yüksek CPU vs intiyaci var. Siz kendiniz ayaklandieiyor musunuz veya bulut vs mı tercih ediyorsunuz. İzlediğiniz yöntem nedir acaba
Ben modeli GPU olan bir sunucuda kullanıyorum kendim ayaklandırmıyorum başkasından hizmeti alıyorum, karşılığında da belli bir ücret ödüyorum.
İlk başta kendim çalıştırmak istedim ancak masrafları fazla çıktığı için vazgeçtim.
Bu model 1.65TB alan istiyor ancak gguf modeli ile 241GB'ye düşüyor. Aşağıdaki bağlantıda adım adım anlatıyor deneyebilirsiniz:
https://unsloth.ai/docs/models/glm-5