GPT, Opus'a göre daha güvenli. Çünkü daha az aşamada, daha odaklı iş yapar. Opus'un güzel yanı, iş bilmeyen için iş yapabiliyor olması, yani işin mimarlığı, kötü yanı ise, mağdur edene kadar token tüketmesi.
GPT ile $200 a yapacağınız işi, Opus ile $1000'a yaparsınız. Eğer mimari hiçbir fikriniz yoksa, GPT ile iş daha uzun sürebilir. Çünkü feedback ile beslemek zorunda kalırsınız. Ancak, mimaridan anlıyorsanız ve nasıl yönlendireceğinizi biliyorsanız, bu otomatik olarak süreci Opustan daha hızlı hale getirir. Opus normalde yavaş gidiyor, ama ana sıkıntısı yavaş ya da hızlı olmasından ziyade "şuna da bakayım" olayı. Bu mimari için iyi gibi dursa da, olur olmadık şeyde tonla token yok etmesi azımsanacak bir hadise değil. Örneğin sırf deneme için tek bir rakamı değiştirmesini istediğimde, o rakamın değişikliğini geçip, o rakamın geçtiği plugini vb baştan sona incelemesi, ciddi anlamda kafa bulmaya benziyor. Dahası, Opus bazen sınırlarını aşıp, gidip başka bölgelerde başka değişiklikler yapabiliyor. Çünkü kendi düşüncesini, kendisine işverenin düşüncesinin üzerinde tutuyor. GPT'de bunları yaşamazsınız.
Yani, doğru kullanıcı için GPT hem ekonomik, hem de hızlı. Bilmeyen kullanıcı için, fazla para saçarak Opustan devam etmek bir zorunluluk gibi. Çünkü GPT sizin düşünmediğinizi düşünmeye çalışmaz. Ancak sorarsanız, yönlendirirseniz, mimari tasarımı özellikle cümle içerisinde geçirirseniz bunları yapabilir. Opusta bu default gelir. Hatta, Opusta bunu yapma deseniz, Opus yine yapabilir. Tonla örneği var.
Mesela bu Opus'un yaptığı olağandışı bir hata. Gerçek kaynak kodu kenara bırakıp, bilgisayarda canlı kod avına düşüyor. Sonra bu kod avında bulduğu giriş bilgilerine erişiyor ve sunucu üzerinde canlı sistem üzerinde değişiklik yapıyor. Oysa kendisine verilen dosya çok net bir şekilde bir diskin içerisinde yer alıyor.
Mesela çok basit bir talep. Kasten kod içerisinde ProductsPerTab ı değiştirmesini söyledim ve uzun uzun limitler tanımladım. Hiçbir yere, hiçbir şeye dokunmaması gerekiyordu. Hiçbir değişiklik yapmaması gerekiyordu. Sadece path yolunu verdiği yerdeki tek bir dijital değeri değiştirmesi gerekiyordu. 12 milyon token harcadı ve ben durdurmak zorunda kaldım. Ne yaptığını ve bu kadar basit bir işlem sonrası nasıl güvenipte tek bir soru dahi soracağımı sordum. Cevabı yukarıda.
Token tüketimi de dalga geçer gibi. Claude'de en uyuz olduğum konu, sizin yaptığınız işlemin, tokenin, projenin, içeriğin ya da size dayalı herhangi bir şeyin ilişkisi dahi olmadan, kafasına göre token yemesi. Tek bir kelime cevap için %23 yediği de oldu, %2'de. Yeri geldi hiç yemedi. Birebir aynı ortamda, aynı biçimde, aynı zeminde, aynı alt yapı ile sayısız deneme yaptım. Claude'nin son 1 yılı bana "güven namına" hiçbir şey vermiyor.
Sunulan bilgiler de ağır olarak manipüle edilmiş, kullanıcıyı inandırmaya yönelik bilgiler. Yapay zeka modellerinin son birkaç yılı, kullanıcıyı ikna etmek ve desteklemek üzerine, gerçek bilgi vermek, doğruyu araştırmak, ya da ciddi sonuçlar getirmek üzerine değil.
Tek bir plugin için $200'lık GPT'nin 10%unu zor yiyorsam, temelini zaten yazdığım bir plugini tamamlaması için Claude'nin $200'lık paketinin tamamını yiyorum. Bunun elbette nedeni onlarca projenin iç içe olması. Ancak, GPT'de "bu projede şuraya git ve şunları yap" komutu çalışırken, Claude'de "dur ben projeye bir bakayım, hepsini bir çalıştırayım, sonra belki senin işine de bakarım" olduğu için, hiç gerek yok bence.