Localde çalıştırıp üzerinde geliştirme yapabileceğim bir base model arıyorum. Modeli L4 GPU üzerinde çalıştıracağım ve VRAM kapasitem 24 GB ile sınırlı.
Daha önce Qwen gibi yaygın modelleri ve bunların Türkçe LoRA uygulanmış bazı versiyonlarını denedim. Ancak açıkçası Türkçe performansları beklentimi karşılamadı. Özellikle doğal, akıcı ve bağlama uygun Türkçe üretimi konusunda istediğim seviyeye ulaşamadım.
Modeli kullanma amacım, geliştirdiğim yapay zekâ tabanlı bir roleplay uygulamasında kullanıcılara kesintisiz hizmet verebilmek. Kullanım hacmim yüksek olduğu için API maliyetleri yerine, mümkün olduğunca local LLM çalıştırmanın daha mantıklı olacağını düşünüyorum.
Roleplay konusunda modelin hazır olarak çok iyi olması benim için önemli değil; bu konuda kendi datasetlerim ve fine-tuning/LoRA çalışmalarım olacak. Benim asıl aradığım şey, temel modelin dil yeteneğinin güçlü olması.
Özellikle şu dillerde iyi performans göstermesi gerekiyor:
- 🇹🇷 Türkçe
- 🇦🇿 Azerbaycan Türkçesi
- 🇩🇪 Almanca
- 🇬🇧 İngilizce
- 🇸🇦 Arapça
24 GB VRAM sınırım nedeniyle model boyutu konusunda da kısıtlıyım. Quantization kullanabilirim; önemli olan L4 üzerinde makul hızlarda çalıştırabilmek ve mümkün olduğunca yüksek kaliteli sonuç alabilmek.
Kısacası aradığım model:
24 GB VRAM → Local inference → Güçlü Türkçe → Çok dilli (TR/AZ/DE/EN/AR) → Fine-tune/LoRA için uygun base model
Qwen, Llama, Gemma vb. yaygın modeller dışında veya bunların daha az bilinen Türkçe/multilingual fine-tune edilmiş versiyonları varsa da önerilerinize açığım.
Bu konuda özellikle 24 GB VRAM üzerinde gerçekten denemiş olanların model, quantization ve mümkünse kullandıkları inference ayarlarını paylaşması çok faydalı olur.
Şimdiden teşekkürler.
