Request limiti (RPM)çok düşük, paralel request yok. Büyük modellerden cevap alman 5 dakikayı buluyor.
LLama 3 7B kullanmak için gidip telefon numarası kiralamana yada hesap bulmana gerek yok. Kaybettiğin bir şey yok yani


------
Düzeltme : Kısa ping ponglar için yapıyı iyileştirmişler 15 saniye altında ama işlemleriniz 200 300 token altındaysa kabul edilebilir. FAKAT!

İş uzarsa mevzu değişiyor. Örnekte timeoutlimiti 1 saat bağlantıyı canlı tutalmak için sinyalleşme açık.
Sonuç : 3.6K token output 2 dakika. 34 saniye. Saniyede 23 token ediyor. Hesaplamalanırınızı test ortamlarınızı ona göre kurmanızı tavsiye ederim.