Öncelikle chatbot tarzı birşey üretmek istiyorsunuz. Fine tuning süreçleri çok kapsamlı ve elinizdeki ekran kartı ile başarılı bir model eğitmek çok uzun sürer ve çok zordur. Yetersiz gelir. 8 GB VRAM var elinizde.
Size tavsiye küçük modellerle birlikte kendinize özgü datasetlerinizi yaratıp RAG mantığı ile chatbotlarınızı yönetmeniz en doğrusu olacaktır. 8 GB VRAM'de 3B,7B ve 9B parametreli modelleri çalıştırabilirsiniz. RAG konusunda bilginiz yok ise araştırınız.