Elbette localde yapabilirsin ollalama ile ama senin PC ne kadar güçlü olursa olsun çok yavaş kalıyor. Eğer gerçek bilgilerini yükleyeceksen firma bilgileri vs gibi chatgpt vb modelleri önermem çünkü senin verilerin ile eğitim alıyorlar. Hatta Çin modelleri Çin ile ABD modelleri ABD senin verilerini paylaşıyor.

Yani gizlilik ilkeleri hiçe sayılıyor. Eğer VRAM yüksek bir PC sahibi değilsen kapalı bir model ile çalışmak zorunda kalıyor insan. VRAM yüksek server kiralamak da ucuz değil.