@Balinacan; görüyor musun herkes gereksiz yapıyoruz diyor o zaman ben başlıyorum

Gelelim asıl meseleye. Herkes 2 tane 20x hesap yeter diyor ama kimse neyin bittiğini yazmıyor. Bitmesi gereken token değil, eşzamanlılık. Ben tek bir görevi tek bir sohbette çalıştırmıyorum. Bir iş açıldığında altında 8 ile 16 arası alt ajan aynı anda koşuyor, her biri kendi git worktree'sinde, kendi bağlam penceresiyle. Fan-out yapıp fan-in ediyorum. Bunların yarısı bulucu, yarısı o bulguyu çürütmeye çalışan hasım doğrulayıcı, çünkü tek modelin kendi çıktısını onaylaması hiçbir şey ifade etmiyor. Üç bağımsız oy, ikisi çürütemezse bulgu geçerli. Bunu iki hesapla koşturamazsın, rate limit'e ilk on dakikada girersin. Bir de şu var: çoklu hesap açıp paylaşmak zaten sözleşme ihlali, banlandığın gün 20x'in de gider.


Planlamayı üst modelle yap, kodu ucuz model yazsın kısmı kısmen doğru, ben de öyle yapıyorum. Ama neden her yerde işe yaramadığını rakamla söyleyeyim. Ajan zincirinde adım başına %95 başarı yakaladın diyelim, gayet iyi bir oran. 20 adımlık bir zincirde 0,95^20 = 0,36. Yani üç denemenin ikisi çöp. Uzun ufuklu işte hata birikimi çarpımsaldır, toplamsal değil. Adım başına %98'e çıkardığında 50 adımda yine aynı yere düşüyorsun. O yüzden kritik yolda pahalı modeli tutmak israf değil, tek çıkar yol.


Token muhasebesini de kimse konuşmuyor. Girdi ve çıktı tokeni aynı şey değil, çıktı kat kat pahalı. Prompt cache'e yazmak normal fiyatın üstünde, okumak ise onda biri. Yani sistem promptunu ve depo bağlamını doğru katmanlarsan aynı işin faturası birkaç kat düşüyor, yanlış katmanlarsan her turda tam ücret ödüyorsun. Buna bir de sıkıştırma vergisi ekleniyor: pencere dolunca konuşma özetleniyor ve o özet bir sonraki turda tekrar girdi olarak faturalanıyor. Bağlam penceresinin 200k olması 200k'nın işe yaradığı anlamına gelmiyor, ortadaki bilgiye dikkat seyreliyor. Sektörün adı var buna, bağlam çürümesi.
Depoda arama kısmı ayrı. Gömme tabanlı RAG parça parça kesip benzerlik arayan bir yaklaşım, kod tabanında sembol grafiği olmadan çalışmıyor. Ben AST düzeyinde çağrı grafiği çıkarıp onun üstünden geziyorum, sonra yeniden sıralayıcıdan geçiriyorum. Bunu kurmak da para, koşturmak da.


Asıl parayı yakan yer ise kod yazma değil, değerlendirme katmanı. Altın kümesi, gerileme takımı, hakem paneli, üretimle eşitlik kontrolü. Bir değişikliğin doğru olduğunu modele sorup öğrenemezsin, koşturup ölçmen lazım ve o koşuşlar da token yakıyor. 7/24 çalışmasına gerek yok diyen arkadaş, gece koşan gerileme takımını, geri dolduran işleri ve tarama işlerini hesaba katmıyor. Benim işlerimin bir kısmı zaten insan uykudayken bitiyor.


Ucuz token satan siteler kısmına gelince. O siteler çoğunlukla yeniden satıcı vekil sunucu. Üç soru sor: hangi kesinlikte servis ediliyor, isteklerin loglanıyor mu, faturan var mı. Nicemlenmiş bir ağırlıkla servis edilen model resmi uç noktayla aynı adı taşır, aynı sonucu vermez. İstemcinin kodu üçüncü bir tarafın diskine düşüyorsa müşteri sözleşmen çoktan ihlal. Ve Binance Pay ile ödediğin şeyin faturası yok, yani onu gider yazamıyorsun. Benim ödediğim tutar kurumlar vergisi matrahından düşüyor, KDV'si indirilebiliyor. Net maliyeti listedeki rakam değil.


Son olarak muhasebe. Yılda harcadığım tutarı 12'ye böl, İstanbul'da orta seviye tek bir yazılımcıya ödediğin aylık işveren maliyetinin altında kalıyor. O parayla üç projede paralel geliştirme koşuyorum, gece gerileme testi alıyorum, veri hattı taramalarını döndürüyorum. Kimse için doğru rakam değil bu. Aylık kaç adam-saat yerine geçtiğini hesaplamayan biri için de yanlış rakam.
Şov gibi görünüyorsa sebebi basit: fatura görünüyor, altındaki mimari görünmüyor.

@The_AkumA; sence bunlar daha görünen dağın yüzde 10'u var mı ?