Hocam VDS ile yaptım.
Bu sunucuydu hatırladığım kadar.
LLM 32B kaldırmadı bir merhaba yazması bile 3 dk alıyordu.
16B ise biraz daha hızlıydı.
Eğitim konusuna gelirsek ekran kartı ile 1 saatte alacağın veriyi işlemci ile bilmem kaç iş gününde alabilirsin anca.
Hobi amaçlı.
Selamlar hocam tekrardan, bu donanım için 32B ve 16B ikiside çok fazla gelecektir. 3B veya 1B modeller ile (yine de kısmen yavaş olur) deneyebilirsiniz. Aslında RAM'ler çok hızlıdır fakat çalışma tipleri yapay zekaya uymaz bu nedenle ekran kartı veya veri işleme birimleri bi noktadan sonra şart hale geliyor.