llm güzel bir alan, iş olarak mı düşündünüz yoksa hobi olarak mı ilgilendiniz? Ayrıca hazır bir modeli finetuning edip mi kullandınız yoksa bir model mi eğittiniz? Ekran kartınız yoksa sanal makinelere bakabilirsiniz fakat uzun vadede ekran kartı daha avantajlı olacaktır, saygılar.
Hocam VDS ile yaptım.
Bu sunucuydu hatırladığım kadar.
LLM 32B kaldırmadı bir merhaba yazması bile 3 dk alıyordu.
16B ise biraz daha hızlıydı.
Eğitim konusuna gelirsek ekran kartı ile 1 saatte alacağın veriyi işlemci ile bilmem kaç iş gününde alabilirsin anca.
Hobi amaçlı.