Türkiye'de İlk Olmasakda Yapacağız 😁

Selam,

Kendi yapay zeka modelimi 0' dan %52 Türkçe %48 İngilizce olarak eğitmeyi düşünüyorum.

Bütçem şuan kısıtlı olduğundan 140 milyon parametre 20-40B Token civarı yapmayı düşünüyorum.
( Not: Parametre yükseltip token düşürülebilir ama daha kötü olur )

Aklımda 3090 24GB ile eğitmek var, sanal olarak kiralayarak.

Ama veri kiti sağlam olursa ( önceden hazırlanmış ) 50B token civarına çıkabileceğimizi düşünüyoruz.

Bunun için öncesinde 1 TB 8v CPU 1.000 MBPS İnternet özelliği olan bir linux ile öncesinde de çalışma yapmayı düşünüyoruz ( çok pahalı bilmiyorum ondan dolayı )

Sizce yapmalı mıyım?
Yoksa niş bir ai mi olmalı?

Kolay gelsin...

İsteklerinize uygun mutlaka bir LLM modeli geliştirilmiştir alın fine-tuning veya rag yapın.
Sıfırdan dil modeli veya varyant bir yapay zeka geliştirmenin kapsamı 5 10m usd civari hocam.
Bence paranıza yazık siz hazır olandan ilerleyin. Turkcell bile öyle yapıyor ama gene para sizin siz bilirsiniz.

o işler zor ve pahalı. sonuçlar ise iç açıcı olmuyor. ayrıca gpu cpu'dan daha hızlıdır. örn: kumru

Hocam aklımda fine-tuning var ama kendi modelimizi çok ucuz meblağlar ile eğitebileceğimizi vb. göstermek istiyorum.
Eğer doğru şekilde yapabilirsem dediğim özellikteki ai xxx-xxxx TL arası yapılabiliyor.
Hocam veri kiti toplama için cpu yeterli oluyor aslında, teşekkür ederim.

Model eğitmeyi düşünüyorsan başlangıç olarak Google Colab ile deneyebilirsin. Baktın işler düşündüğün gibi gidiyor ona göre cloud gpu kiralaman daha mantıklı gözüküyor. Colab üstünde daha güçlü modellere daha uygun bir fiyat ile erişebilirsin. Tek sorun sessionlar arası verileri hep sıfırdan aktarman gerekicek bu bir zaman sonra canını sıkmaya başlayabilir.