Aslında burada iki farklı şeyi birbirine karıştırıyoruz:
- Modelin çalışma mantığı
- Ürünün / sistemin gelişim süreci
LLM dediğimiz modeller kendi kendine Benim fetch_site gibi bir modüle ihtiyacım var diye bilinçli bir farkındalık geliştirmez. Modelin yaptığı şey; elindeki veri, bağlam ve araçlarla bir sonraki en olası çıktıyı üretmektir. Yani ortada insan benzeri bir eksik olduğunu anlama durumu yoktur.
Agent mimarisinde ise olay biraz farklıdır. Burada modelin etrafına araçlar (web_search, browser, code interpreter, database access vb.) eklenir.
Model sadece şu kararı verir: Bu soruyu çözmek için hangi aracı kullanırsam başarı ihtimalim artar?
Ama model, sahip olmadığı bir aracın varlığını keşfedemez. Örneğin sistemde sadece web_search varsa, model çoğu zaman arama sonuçlarından cevap üretmeye çalışır. Çünkü elindeki dünya budur. Fetch_site gibi detay okuma yeteneği yoksa, eksik bilgiyle çalışır ve bazen halüsinasyon üretir.
Peki yeni modüller neden ekleniyor?
Çünkü eksikliği model değil, sistemi geliştiren insanlar ve telemetry/veri analizi fark ediyor.
Örneğin ekipler şunları inceler:
- Kullanıcıların başarısız olduğu görevler
- Halüsinasyon oranları
- Bu cevabın kaynağı ne? gibi geri bildirimler
- Uzun sayfa okuma gerektiren başarısız senaryolar
- Benchmark testleri
- İnsan değerlendiricilerin raporları
Sonra şu sonuca varılır:
Arama sonucu görmek yetmiyor, modelin sayfanın içine girip içeriği parse etmesi gerekiyor.
Ve böylece fetch/browser/read_page tarzı yeni araçlar sisteme eklenir.
Yani gelişim zinciri genelde şöyledir: - Kullanıcı ihtiyacı oluşur
- Mevcut sistem bazı görevlerde başarısız olur
- Başarısızlık ölçülür
- İnsan mühendisler eksik capabilityi tanımlar
- Yeni tool/modül eklenir
- Model bu toolu kullanacak şekilde tekrar eğitilir veya orchestrator güncellenir
Buradaki önemli nokta şu:
LLM tek başına öğrenen canlı organizma gibi çalışmaz. Çoğu modern sistemde öğrenme; offline training, fine-tuning, RLHF, telemetry ve insan geri bildirimi kombinasyonuyla olur.
Ayrıca konuşmada yanlışını gösterdim ama sonra yine aynı hatayı yaptı durumu da normaldir. Çünkü çoğu model kalıcı öğrenme yapmaz. Conversation memory ile weight update aynı şey değildir. Bir şeyi sohbet içinde kabul etmesi, model parametrelerinin kalıcı değiştiği anlamına gelmez.
Kısacası:- Agent = araç kullanan orkestrasyon sistemi
- LLM = olasılıksal dil modeli
- Yeni capabilityler = çoğunlukla insan mühendisliği + veri analizi sonucu eklenir
- Kendi kendine fark edip evrimleşme bugün hâlâ sınırlıdır
Bu yüzden günümüzdeki yapılar otonom bilinç değil, oldukça gelişmiş karar/veri/araç orkestrasyon sistemleridir.