Github

LLM modellerini hızlıca test etmek için hızlı araç
Hem cpu hem gpu destekli istediğini donanımda çalıştırıyorsunuz.
Aynı klasöre atıp çalıştırın.
.gguf uzantılı modelleri hızlıca açar.