Google’ın paylaştığı testlerde DeepSWE v1.1’de %77,9, AutomationBench’te %51,3, LVBench’te %91,7 ve CWE-bench v1’de %68 sonuç vermiş. Bunlar şirketin kendi yayımladığı sonuçlar olduğu için bağımsız testleri de görmek gerekecek.
Dikkat çeken bir diğer detay ise 1 milyon token output limiti. API tarafında başlangıç fiyatı da 1M input token için $2, output için $10 olarak açıklanmış. Pasted text Pasted text
Kâğıt üzerinde özellikle coding/agent tarafında oldukça iddialı görünüyor. Asıl tablo, genel kullanıma açıldığında ortaya çıkar.
Bi claude olmayacağına kesinlikle eminim