CrypticaL adlı üyeden alıntı: mesajı görüntüle
Ram miktarınız ne kadar bilmiyorum tabi ama kullanım senaryolarınız yanlış sanırım zira saniyede 45 token a kadar çalıştırabilirsiniz en azından benim ayarlar ile bu şekilde rahat çalıştırabiliyorum 32k dan fazla verebilirsiniz düzgün ayarlar ve model parametreleri ile...

VRAMiniz ne kadar hocam benim 8GB VRAM Var ram 64 gb