Kendi bilgilerime göre yapay zeka eğitmek

Merhabalar elimde 10.000.000 adet belge var diyelim. Yapay zekayı eğiterek bu belgelerdeki bilgilere dayanarak yazı yazmasını halisilasyon görmemesini sağlamak istiyorum. Bunu nasıl yapabilirim? Birde bir limite takılmasını istemiyorum örneğin tek seferde 1000 TL'lik api kullanabilir yeterki istediğim nitelikte ve uzunlukta çıktı versin.

Ozaman yapay zekayı'yı local'ine indirmen gerek token limitine takılmaman için. Ayrıca eğitim yapabilmen için de Ollama ücretsiz kaynak ai modeli var indirebilirsin ,eğitebilirsin hatta eğittikten sonra da pc'ne indirip çevrim dışı bile çalıştırabilirsin internete gerek kalmadan ,token olmadan sana özel bir agent olmuş olur.

Aslında bende bu konu hakkında bilgi edinmek istiyorum mesela LLM3 olan yapay zekayı tamemen nasıl kendi isteğimiz üzerine kullanabiliriz yane bunun için ne gerekli bize o konuda bilgisi olan var mı

token olmadan derken hocam meslea şuan günceldeki yapay zekalar maximum 13 sayfa çıktı veriyor diyelim onda bir sınır yok mu 100 sayfada olsa durmadan yazar mı? Bunun için bilgisayar donanımın ne olması gerekir

Yıldız Teknik'in bu konuda bir çalışması oldu. O yolu takip edebilirsin. Temel bir model seçip verilerle modeli eğitmen gerekiyor. Bu masraflı ve uzun bir iş olabilir.

Hayır Hocam, Kendi modelinde olsa, kendi pc'ne de indirsen token harcamamış da olsa tek seferde sana vereceği Ouput yada senin ona verebileceğin Input context limiti vardır.Buda zaten her modelin offical sayfasında belirtilir. Ama 10.000 sayfa vermen sorun değil eğitim datası olarak verdikten sonra o data onda markdown şeklinde ve vektörel database şeklinde tutulur.

LLM kullanabilirsin ama ekran kartlı sunucunuz olmalı.
32.000.000 parametre öneririm.