Şirket üzerinde kullanılmak üzere sonradan şirket verileri ile tekrar eğitmeyi planladığımız bir yapay zeka kurulumu yapmayı planlıyorum. Aynı zamanda bu konudada teknik bilgilerimi geliştirmek amaçlı araştırmalar yapıyorum.
Mistral Instruct (ollama) + OpenWebUI ile birlikte test amaçlı bir sunucu kurdum, yanıtlar beklediğim gibi değil açıkçası. Örnek olarak "şuan hangi yıldayız" sorusuna aşağıdaki yanıtı veriyor.
Yanıt süreleri kısa ve gayet yeterli süreler fakat dil modelinin barındırdığı sorgu sayısı az olduğu için muhtemelen bu hızları yakaladım. Mistral'in daha yüksek sorgu sayılarına çıktığım zaman cevap süreleri uzayacaktır diye düşünüyorum.
Kurduğum Sistem Donanımı;
- CPU: i9-14900K
- GPU: RTX 4060Ti 16GB
- RAM: 64GB
- Disk: 1TB NVMe
- İşletim Sistemi: Ubuntu Server 22.04
Daha stabil yanıtlar nasıl alabilirim? Dil modeli tercihim yanlış olmuş olabilir, bu konuda önerileri alabilirim. Bunlara ek olarak en önemli konulardan biri olarak custom verilerim ile nasıl öğreti yapabilirim? Temeline hakimim fakat daha kolay, şu yolu izlersen daha iyi olur diyebilecek kişilerin fikirlerini dinleyebilirim.
