Pctralex adlı üyeden alıntı:
mesajı görüntüle
Sıfırdan LLM geliştirmeyi deneyen var mı?
18
●708
- 31-10-2026, 02:05:42Bunun için Qwen vb. open source bir base model kullanabilirsin. Zaten mevcut modellere bitcoin puzzle gibi bilinen kangroo gibi yöntemler vs. belirtip en verimli çözümü sorup kod yazdırabiliyorsun. Bunun için sıfırdan bir model eğitmek şimdilik çok gereksiz çünkü mevcut modeller gayet iyi iş çıkarıyor. Kaldı ki sana bir yöntem verilse bile yine de gerçek başarı için işlem gücüne ve dolayısıyla paraya ihtiyacın var. Vast ai kullanarak yapabileceğin en güzel şey kendi dil modelini geliştirmek olabilir ama ilk denemelerinde çok bir şey beklememen gerekiyor. Vast ai de yeteri kadar kredin varsa sana 1 milyar parametreli bir base model üretmeni ve pretrain aşamasında kaydedip daha sonra SFT eğitimleri ile çeşitli testler gerçekleştirerek belirli bir konuya özelleşmesini sağlayabilirsin. Bu konuda bir niyetin olursa sana daha fazla tavsiye (veri setleri vs.) verebilirim.