Son birkaç haftadır Claude Code kullanırken özellikle Fable 5 ve Opus 4.8 modellerinde token tüketiminin beklediğimden çok daha yüksek olduğunu fark ettim.
İlk başta bunun yüksek reasoning seviyesinden kaynaklandığını düşündüm. Ancak işin içine girince asıl sorunun model değil, Claude Code'un gereksiz davranışları olduğunu gördüm.
Örneğin;
- Az önce düzenlediği dosyayı tekrar tekrar okuyor.
- Uyguladığı diff'i yeniden sohbete yapıştırıyor.
- Kimsenin istemediği uzun raporlar üretiyor.
- Aynı bilgiyi farklı şekillerde tekrar ediyor.
Tahmin yürütmek yerine bunu ölçmeye karar verdim.
Toplam 23 gerçek benchmark hazırladım. Kod inceleme, gerçek bug fix, çok dosyalı agent oturumları gibi farklı senaryolarda hem token tüketimini hem de çıktı kalitesini karşılaştırdım. Üretilen düzeltmeleri gerçekten çalıştırıp doğruladım ve tüm ham benchmark JSON'larını repoda paylaştım.
Ardından bu gereksiz token tüketimini azaltan iki Claude Code Skill'i geliştirdim.
/eco
- Gereksiz dosya okumalarını azaltıyor.
- Diff'i tekrar sohbete yapıştırmıyor.
- Gereksiz rapor üretmiyor.
- Önce doğrudan cevabı veriyor.
- Reasoning kalitesini koruyor.
/eco-max
/eco'daki tüm optimizasyonlara ek olarak rutin işler için reasoning effort seviyesini düşürerek daha yüksek tasarruf sağlıyor.
Benchmark sonuçları
- Kod inceleme: %52 daha az output token (aynı hataların tamamını buldu)
- Gerçek bug fix: %73 daha az output token (Node ile doğrulandı, sonuçlar aynı)
- 12 dosyalı, 3 turlu agent oturumu: %72 daha az output token, %46 daha düşük toplam maliyet
- Opus 4.8: %48 tasarruf
- Sonnet 5: %52 tasarruf
Kurulum tek komut. Windows, macOS ve Linux destekleniyor.
Ayrıca kendi projenizde aynı testi yapabilmeniz için tek komutla çalışan bir A/B benchmark aracı da ekledim. Benim sonuçlarıma güvenmek zorunda değilsiniz; kendi iş yükünüzde ölçebilirsiniz.
GitHub (MIT Lisansı):
https://github.com/sup3x/claude-code-fable-eco
İşinize yararsa bir ⭐ bırakmanız yeterli. Projenin tek karşılığı bu.
Görüş, eleştiri ve benchmark sonuçlarınızı da merak ediyorum.
