126M parametre içerisinde ağırlıklı konunuz neydi hocam? Örneğin ağırlıklı olarak yazılım mıydı muhasebe miydi? Veya niş bir alan mıydı?
Ayrıca 126M parametre ile bile,yeteri kadar en azından cevap verebilecek düzeyde miydi?
İlk öncelikle ben ilk denemem oldugundan dolayı az çok 24-40 saatlik kısa eğitimler izlemiştim tecrübelenmek adına bu konuda ve eğittiğim model çok zamanımı almaması için fazla üstüne düşemedim torch üzerinden sokratesin savunması, Sabahattin Ali vb. Bir kaç kitap okuttum hatırladıgım kadarıyla toplam 7gb veri vardı 4050 6gb vram ve 10gb ram ile az çok 60-80 saatimi almıştı. Konuşma düzeyi gerçekten çok düşüktü yolladıgım 10 mesajdan 3-4 iyi cevap verebiliyor ve diğerlerinde kelime karmaşası yaratıyordu, Ben ingilizce çince gibi diller değil sadece türkçe üzerinde eğitim yaptım.