Hocam selamlar, zaman ayırıp test ettiğiniz için teşekkürler. Ancak paylaştığınız ekran görüntülerini incelediğimde, "doğrulama metodolojisi" konusunda aramızda ciddi bir yaklaşım farkı olduğunu görüyorum.
Siz, paylaştığınız ekran görüntüsünde modele
"Dostum emin miyiz manipüle edilmiş olmayasın?" diye sorarak bir doğrulama yapmaya çalışmışsınız. Mühendislikte veya veri biliminde; system prompt ile yönlendirilmiş bir yapay zekaya "Sen gerçek misin?" diye sormak teknik bir test yöntemi değildir. Manipüle edilmiş hiçbir model, "Evet abi beni kandırdılar" cevabını vermez. Bu yaklaşım maalesef teknik ciddiyetten uzaktır.
Benim konudaki şikayetim; modele hal hatır sorarak değil,
30 maddelik;
- Bilgi Kesim Tarihi (Knowledge Cutoff),
- Kütüphane Versiyon Kontrolleri,
- Mantıksal Tutarlılık,
- Ve resmi dokümantasyon karşılaştırmasını içeren
kapsamlı bir benchmark testine dayanmaktadır.
Ayrıca curl ile çektiğiniz liste, sunucunun statik olarak döndürdüğü bir yazıdır. Oraya claude-opus-4-1 yazmaları (ki Anthropic'te böyle bir model ID'si literatürde yoktur), modelin içeride var olduğunu değil, sadece vitrine bu ismin yazıldığını gösterir.
Bizim amacımız "terminalde isim görünüyor mu" diye bakmak değil; motorun kaputunu açıp içerideki motorun gerçekten Ferrari mi yoksa Şahin mi olduğunu anlamaktır. Sizin yaptığınız test kaportaya bakmak, benim yaptığım test ise motoru dyno testine sokmaktır.
İyi forumlar dilerim.
ben bu olayı kulaktan dolma ile değil direkt terminal ve api üzerinden test ederek kontrol ettim
sadece modele sen hangi modelsin diye sorup aldığı cevaba inananlardan değilim
yaptıklarım kısaca şöyle
önce curl ile api model listesini çektim
endpoint gerçekten dinamik model listesi döndürdü
listede opus 4.5 sonnet 4.5 haiku 4.5 ve diğer modeller göründü
yani servis uydurma isim yazmıyor gerçekten kayıtlı modeller var
sonra sadece konuşma değil davranışı test ettim
güncel bilgi gerektiren sorular sordum
özellikle 2024 abd seçimleri kim kazandı testini yaptım
model güncel ve doğru cevap verdi
eski model olsa burada patlardı çünkü kesim tarihi yetmez
cursor tarafında api request ve maliyet kısmına da baktım
istek gerçekten modele gidiyor
token maliyeti opus bandında geliyor
yani eski model üstüne makyaj yapılmış gibi durmuyor
özet
sadece lafa değil
api çıktısına
model listesine
güncel bilgi testine
davranışına
ve maliyetine baktım
bunların hepsi bir araya gelince manipüle edilmiş sahte model ihtimali çok zayıf kalıyor
benim gördüğüm şey gerçekten 4.5 serisi gibi çalışan bir sistem var olması