yusuf68700 adlı üyeden alıntı: mesajı görüntüle
Hocam aşağıda ki modeli RTX4060 Ve 64 GB Ram ile kullanıyorum saniyede 20 token hızı alıyorum sansür olmaması sebebi ile inanılmaz iş görüyor bazen zeka olarak GPT 3.5 Turbo ile aynı
https://huggingface.co/llmfan46/Qwen...d-heretic-GGUF
Yapay zekalar vram tüketiyor. Normal ram çok birşey ifade etmiyor