Selam,

Kendi yapay zeka modelimi 0' dan %52 Türkçe %48 İngilizce olarak eğitmeyi düşünüyorum.

Bütçem şuan kısıtlı olduğundan 140 milyon parametre 20-40B Token civarı yapmayı düşünüyorum.
( Not: Parametre yükseltip token düşürülebilir ama daha kötü olur )

Aklımda 3090 24GB ile eğitmek var, sanal olarak kiralayarak.

Ama veri kiti sağlam olursa ( önceden hazırlanmış ) 50B token civarına çıkabileceğimizi düşünüyoruz.

Bunun için öncesinde 1 TB 8v CPU 1.000 MBPS İnternet özelliği olan bir linux ile öncesinde de çalışma yapmayı düşünüyoruz ( çok pahalı bilmiyorum ondan dolayı )

Sizce yapmalı mıyım?
Yoksa niş bir ai mi olmalı?