hocam eleştiriniz değerli gerçekten hak veriyorum herkesin test yaklaşımı farklı olabilir ama benim yaptığım testler basit sohbet testinden ibaret değildi onu netleştireyim istedim
benim tarafta yaptıklarım biraz daha teknik seviyedeydi
- sadece modele sen gerçek misin diye sormadım
- api seviyesinde test yaptım
- doğrudan v1 models endpointine istek attım
- dönen response statik değil dinamikti
- tek satır dummy liste değil array içinde farklı id varyasyonları vardı
- yani sunucu hardcoded json döndürmüyor gerçekten kayıtlı modelleri listeleyen bir sistem var
davranış tarafında da üstünkörü bakmadım
- knowledge cutoff testleri yaptım
- kesim tarihini yakalayacak derecede güncel içeriklerle test yürüttüm
- özellikle 2024 abd seçimleri gibi kritik güncel veri gerektiren bir soruda model doğru ve detaylı cevap verdi
- eski model olsaydı mantıklı bir tahminden öteye gidemezdi zaten
- burada hem bilgi doğru hem bağlam sağlamdı
performans ve maliyet kısmına da ayrıca baktım
- cursor içindeki api request cost değerlerini inceledim
- token maliyeti opus 4.5 bandına uyuyor
- eski model çalışıp üstüne 4.5 etiketi yapışık olsaydı maliyet uyuşmazdı
- ayrıca latency davranışı da büyük model davranışıyla uyumlu
statik liste olabilir eleştiriniz için de şunu söyleyeyim
- curl çıktısı tek satır sabit text gibi değil
- içindeki id varyasyonları anthropic naming patterni ile uyumlu
- sahte servisler genelde 1 2 tane düz isim koyar
- burada hem opus hem sonnet hem haiku varyasyonları ve sürüm idleri var
- yani vitrine yazı asılmış seviyesinde bir kandırmadan daha fazlası var gibi duruyor
kısacası ben sadece sohbet penceresine bakmadım
api seviyesinde test
davranış testi
güncel bilgi testi
maliyet analizi
ve response yapısının doğallığı
hepsini birlikte değerlendirdim
o yüzden şahsi kanaatim
burada fake model var demek için elimde yeterli negatif veri yok
aksine teknik olarak uyumlu duran bir tablo görüyorum
yine de sizin benchmark yaklaşımınız daha akademik ve kapsamlı ona da saygım var
ben yaptıklarımı ve gördüğümü dürüstçe yazmış olayım iyi forumlar dilerim
Hocam selamlar, zaman ayırıp test ettiğiniz için teşekkürler. Ancak paylaştığınız ekran görüntülerini incelediğimde, "doğrulama metodolojisi" konusunda aramızda ciddi bir yaklaşım farkı olduğunu görüyorum.
Siz, paylaştığınız ekran görüntüsünde modele "Dostum emin miyiz manipüle edilmiş olmayasın?" diye sorarak bir doğrulama yapmaya çalışmışsınız. Mühendislikte veya veri biliminde; system prompt ile yönlendirilmiş bir yapay zekaya "Sen gerçek misin?" diye sormak teknik bir test yöntemi değildir. Manipüle edilmiş hiçbir model, "Evet abi beni kandırdılar" cevabını vermez. Bu yaklaşım maalesef teknik ciddiyetten uzaktır.
Benim konudaki şikayetim; modele hal hatır sorarak değil, 30 maddelik;
- Bilgi Kesim Tarihi (Knowledge Cutoff),
- Kütüphane Versiyon Kontrolleri,
- Mantıksal Tutarlılık,
- Ve resmi dokümantasyon karşılaştırmasını içeren kapsamlı bir benchmark testine dayanmaktadır.
Ayrıca curl ile çektiğiniz liste, sunucunun statik olarak döndürdüğü bir yazıdır. Oraya claude-opus-4-1 yazmaları (ki Anthropic'te böyle bir model ID'si literatürde yoktur), modelin içeride var olduğunu değil, sadece vitrine bu ismin yazıldığını gösterir.
Bizim amacımız "terminalde isim görünüyor mu" diye bakmak değil; motorun kaputunu açıp içerideki motorun gerçekten Ferrari mi yoksa Şahin mi olduğunu anlamaktır. Sizin yaptığınız test kaportaya bakmak, benim yaptığım test ise motoru dyno testine sokmaktır.
İyi forumlar dilerim.