A100 80Gb ile Trai-1B modelini sıfırdan eğitim yaptım SFT İnstruct halide var 2 ay kadar sürdü.
Batch ayarı 4/32
effective batch: 128
tokens/update: 32.768
50B token ile yaptın tokenlerin %40 kendim Crawl ettim tekrar ve spam vs. Temizliği yapılmıştır.

Hedef TrAi-3B ama sonrasını bilmiyorum be işime yarayacak 😁