Hocam selamlar, zaman ayırıp test ettiğiniz için teşekkürler. Ancak paylaştığınız ekran görüntülerini incelediğimde, "doğrulama metodolojisi" konusunda aramızda ciddi bir yaklaşım farkı olduğunu görüyorum.
Siz, paylaştığınız ekran görüntüsünde modele "Dostum emin miyiz manipüle edilmiş olmayasın?" diye sorarak bir doğrulama yapmaya çalışmışsınız. Mühendislikte veya veri biliminde; system prompt ile yönlendirilmiş bir yapay zekaya "Sen gerçek misin?" diye sormak teknik bir test yöntemi değildir. Manipüle edilmiş hiçbir model, "Evet abi beni kandırdılar" cevabını vermez. Bu yaklaşım maalesef teknik ciddiyetten uzaktır.
Benim konudaki şikayetim; modele hal hatır sorarak değil, 30 maddelik;
- Bilgi Kesim Tarihi (Knowledge Cutoff),
- Kütüphane Versiyon Kontrolleri,
- Mantıksal Tutarlılık,
- Ve resmi dokümantasyon karşılaştırmasını içeren kapsamlı bir benchmark testine dayanmaktadır.


Ayrıca curl ile çektiğiniz liste, sunucunun statik olarak döndürdüğü bir yazıdır. Oraya claude-opus-4-1 yazmaları (ki Anthropic'te böyle bir model ID'si literatürde yoktur), modelin içeride var olduğunu değil, sadece vitrine bu ismin yazıldığını gösterir.
Bizim amacımız "terminalde isim görünüyor mu" diye bakmak değil; motorun kaputunu açıp içerideki motorun gerçekten Ferrari mi yoksa Şahin mi olduğunu anlamaktır. Sizin yaptığınız test kaportaya bakmak, benim yaptığım test ise motoru dyno testine sokmaktır.

İyi forumlar dilerim.


Harunaydinx adlı üyeden alıntı: mesajı görüntüle
ben bu olayı kulaktan dolma ile değil direkt terminal ve api üzerinden test ederek kontrol ettim
sadece modele sen hangi modelsin diye sorup aldığı cevaba inananlardan değilim

yaptıklarım kısaca şöyle

önce curl ile api model listesini çektim

endpoint gerçekten dinamik model listesi döndürdü

listede opus 4.5 sonnet 4.5 haiku 4.5 ve diğer modeller göründü

yani servis uydurma isim yazmıyor gerçekten kayıtlı modeller var

sonra sadece konuşma değil davranışı test ettim

güncel bilgi gerektiren sorular sordum

özellikle 2024 abd seçimleri kim kazandı testini yaptım

model güncel ve doğru cevap verdi

eski model olsa burada patlardı çünkü kesim tarihi yetmez

cursor tarafında api request ve maliyet kısmına da baktım

istek gerçekten modele gidiyor

token maliyeti opus bandında geliyor

yani eski model üstüne makyaj yapılmış gibi durmuyor

özet
sadece lafa değil
api çıktısına
model listesine
güncel bilgi testine
davranışına
ve maliyetine baktım

bunların hepsi bir araya gelince manipüle edilmiş sahte model ihtimali çok zayıf kalıyor
benim gördüğüm şey gerçekten 4.5 serisi gibi çalışan bir sistem var olması