Gemma 31B Sınırsız Kullanım

Bu modeli çalıştırabileceğim en uygun ekran kartı nedir? Nereden kiralayabilirim? Yada çok uygun api sağlayan bir platform varmı milyarlarca token işlem yapmam gerekiyor. Dakikada maksiumum sayısa istek atmam gerekiyor. Mümkünse platform ve maliyet konusunda öneride bulunursanız gerçekten uzman tecrübeli arkadaşlar yanıtlarsa çok memnun olurum.

Merhaba,

Eğer gguf formatını tercih ederseniz 24 GB VRAM yeterli olacaktır. 32K context'te kullanabilirsiniz diye tahmin ediyorum.

Bir 3090 kiralasanız ayda ~$160 ödemeniz gerekir https://huggingface.co/unsloth/gemma...4B-it-qat-GGUF 70tps'ye çıkar diye düşünüyorum.

Tamamen tahmin olduğunu unutmayın böyle bir senoryada ayda 181 milyon token üretirsiniz oysa OpenRouter'de $61 dolara aynı miktarda üretim yapabilirsiniz (aşağı yukarı).

Lokal yapay zeka benimde hep düşündüğüm bir şey ama bu maliyetlerle maşallahı var şuanda.

Lokay yapay zeka üzerine çok fazla çalışma yaptım. Kendi sistemime çok model kurup sildim. Şu net bir durum ki sansürsüzlük ile ilgili bir problem yok ise deepseek veya openrouter gibi yerlerden api alın, çok ucuz ve çok performans alırsınız. Lokal yapay zekalar özellikle sansürsüz olanlar sıkıntılı, verimli çalışmıyor. Sansürsüz api veren venice.ai var. İlla lokal kuracaksanız lighning.ai sitesinden ücretsiz bir sunucu alabilirsiniz.