Adam localde hangi llm kullanıyorsun demiş.
Ben 4gb ekran kartında öyle bir işe yarayan model test edemedim ama mantıken 70B aşağısı çok işe yarar görünmüyor. Kodlama açısından bahsediyorum.
Ayrıca 70B modeli çalıştırmak demek 100bin 200bin tl yatırım demek. Sadece ekran kartı için