Konu bana gelmiş model farketmeksizin
C = toplam iş
T_in = input/context token sayısı
T_out = output/cevap token sayısı
C = T_{in} + T_{out}

Request sayısı = 1
Input = 1,000,000 token
Output = 30 token

Toplam iş = 1,000,000 + 30
Toplam iş = 1,000,030 token




Request sayısı aynı olabilir,
ama işlem yükü aynı değildir.

Toplam yük = request sayısı × request başına ortalama token
L = R × T
L = toplam yük
R = request sayısı
T = request başına token



1 request × 1,000 token
1 request × 1,000,000 token

Daha sorunuz varsa ai desteği alabilirsiniz iyi geceler