Yapay Zeka Agentleri, Hatalarını Nasıl Buluyor?

Selamlar,

Yapay Zeka olarak agentlarin çalışma mantığı oldukça basitmiş.
Örneğin web_search, fetch_site gibi modüller var ve arka tarafta yapay zeka hangisi kullanayım diye düşünüyor ve onu kullanıyor.
Buraya kadar her şey tamam lakin şurada takılıyorum.
Örneğin fetch_site yani sitenin detaylarına girme modülü eklenmemiş olsun. Sadece Web search modülümüz var olsun. Bir sonraki yapay zeka güncellemesinide "fetch site" algoritması eklenmiş olur. Yani yapay zekanın o modülünün eksikliğinin farkına varılmış ve bu modül de eklenmiş olur.
Şimdi yapay zekanın içinde önceden fetch modülü yokken buna ihtiyacı olduğunu farkında değildi yani örnek vermek gerekirse "8+2x5" işlemini işlem önceliği bilmeyen birisine sorun 50 der ve bunun doğru olduğunu düşünür ama işlem önceliği bilene sorun 18 der.
Yani onun gerekli olduğunu yapay zeka aslında bilmiyor.
Peki, bir sonraki güncellemede bunun eksik olduğunu bilip nasıl raporluyor?

Temel prensip arama motoru gibidir. Yani anlık, daha önceden öğretilmiş verileri kullanabilir. Aynı zamanda makine öğrenmesi dediğimizde budur. İlk örneklerinde yorumlama olmadan bariz tek tönlü öğretimle çalışırken artık yorumlama yapıyor bunuda yine arama motoru mantığında yola çıkarak düşünün. O konuda setlerinde bir birikim yoksa %90ihtimalle halüsinasyon görüp uyduruyor. Ama bu uydurmalar elbette yine (bilgi yok diye bir flag eklendiğini düşünün o konuya) daha sonradan eksikliği farkedilip o konuya eğiliyor. Sorunuza cevap olmuştur umarımç yanlış anlamamışsam(anladığım haliyle) cevap vermeye çalıştım. Umarım basit ve açıklayıcı olmuştur.

Yani "Ben burada şuanda halisülasyon görüyorum" olarak ilgili chat veya durumu arka tarafa raporluyor ve daha sonrasında da bunu ilgili yetkililer farkedip o konudaki eksikliği gideriyor. Doğru mudur?

Genel olarak evet. Ama şimdilerde bu konuda daha sonradan tarama yapıp öğrenebiliyor. Genel yapay zekalar her konuda başarılı olamaz, bir insanın her konuda uzman olamayıp uyduracağı gibi
Nasıl daha sonradan araştırıp öğrençtorsak o konuyu bunlarda aynı şekilde bu eksikliği gideriyor. Aslında bunlarında örümcekleri sürekli tarama yapıyor.
Ama şu b gerçekki genel yapay zeka yerine ihtiyacınız olanı kullanın. Az halüsinasyon için kısa konuşmalar önemli. Uzadıkça yine saçmalıyor ve verileri genel olarak eski tarihe dayanıyor. Ama 'sanırım' bu eksikliği giderme yine manuel olarak operarörler yapıyor gerekliliğe göre. Çünkü 1 sene önce saçmaladığını hala aynı saçmalıyor. Konuşmalarımda yanlışını ispat ettiğim halde aynı pencerede yine saçmalıyor bu da açıkçası manuel bir müdahale olduğu izlenimini uyandırıyor. Yani hala tam olarak öğrenemiyor kendi başına.

Aslında burada iki farklı şeyi birbirine karıştırıyoruz:

1. Modelin çalışma mantığı
2. Ürünün / sistemin gelişim süreci

LLM dediğimiz modeller kendi kendine “Benim fetch_site gibi bir modüle ihtiyacım var” diye bilinçli bir farkındalık geliştirmez. Modelin yaptığı şey; elindeki veri, bağlam ve araçlarla bir sonraki en olası çıktıyı üretmektir. Yani ortada insan benzeri bir “eksik olduğunu anlama” durumu yoktur.
Agent mimarisinde ise olay biraz farklıdır. Burada modelin etrafına araçlar (web_search, browser, code interpreter, database access vb.) eklenir. Model sadece şu kararı verir:


“Bu soruyu çözmek için hangi aracı kullanırsam başarı ihtimalim artar?”
Ama model, sahip olmadığı bir aracın varlığını keşfedemez. Örneğin sistemde sadece web_search varsa, model çoğu zaman arama sonuçlarından cevap üretmeye çalışır. Çünkü elindeki dünya budur. Fetch_site gibi detay okuma yeteneği yoksa, eksik bilgiyle çalışır ve bazen halüsinasyon üretir.

Peki yeni modüller neden ekleniyor?

Çünkü eksikliği model değil, sistemi geliştiren insanlar ve telemetry/veri analizi fark ediyor.
Örneğin ekipler şunları inceler:

• Kullanıcıların başarısız olduğu görevler
• Halüsinasyon oranları
• “Bu cevabın kaynağı ne?” gibi geri bildirimler
• Uzun sayfa okuma gerektiren başarısız senaryolar
• Benchmark testleri
• İnsan değerlendiricilerin raporları

Sonra şu sonuca varılır:
“Arama sonucu görmek yetmiyor, modelin sayfanın içine girip içeriği parse etmesi gerekiyor.”
Ve böylece fetch/browser/read_page tarzı yeni araçlar sisteme eklenir.

Yani gelişim zinciri genelde şöyledir:

• Kullanıcı ihtiyacı oluşur
• Mevcut sistem bazı görevlerde başarısız olur
• Başarısızlık ölçülür
• İnsan mühendisler eksik capability’i tanımlar
• Yeni tool/modül eklenir
• Model bu tool’u kullanacak şekilde tekrar eğitilir veya orchestrator güncellenir

Buradaki önemli nokta şu:

LLM tek başına “öğrenen canlı organizma” gibi çalışmaz. Çoğu modern sistemde öğrenme; offline training, fine-tuning, RLHF, telemetry ve insan geri bildirimi kombinasyonuyla olur.
Ayrıca “konuşmada yanlışını gösterdim ama sonra yine aynı hatayı yaptı” durumu da normaldir. Çünkü çoğu model kalıcı öğrenme yapmaz. Conversation memory ile weight update aynı şey değildir. Bir şeyi sohbet içinde kabul etmesi, model parametrelerinin kalıcı değiştiği anlamına gelmez.

Kısacası:

• Agent = araç kullanan orkestrasyon sistemi
• LLM = olasılıksal dil modeli
• Yeni capability’ler = çoğunlukla insan mühendisliği + veri analizi sonucu eklenir
• “Kendi kendine fark edip evrimleşme” bugün hâlâ sınırlıdır

Bu yüzden günümüzdeki yapılar “otonom bilinç” değil, oldukça gelişmiş karar/veri/araç orkestrasyon sistemleridir.