Google Research, 7 Kasım'da yapay zeka modellerinin sürekli olarak yeni bilgi öğrenirken karşılaştığı "felaket düzeyinde unutma" sorununu ele almak için
yeni bir makine öğrenme paradigması olan İç İçe Öğrenmeyi tanıtan bir blog yazısı yayınladı.
Mevcut büyük dil modelleri güçlü olsa da, bilgileri hâlâ ön eğitim verileriyle veya sınırlı bir bağlam penceresiyle sınırlıdır.
İnsan beyni gibi, "nöroplastisite" (beynin yapısını ve işlevini deneyime, öğrenmeye ve çevresel değişikliklere göre ayarlama yeteneği) sayesinde eski bilgileri unutmadan sürekli olarak yeni beceriler öğrenemezler.
Modelleri doğrudan yeni verilerle güncellemek genellikle "felaket boyutunda unutkanlığa" yol açar; yani yeni görevler öğrenildikten sonra eski görevlerdeki performans önemli ölçüde düşer. Bu temel sorunu ele almak için Google Research araştırmacıları yeni bir çözüm önerdi.
Google, NeurIPS 2025'te yayınlanan bir makalede "İç İçe Öğrenme" paradigmasını tanıttı. Bu paradigma, geleneksel olarak ayrı olan model mimarisi ve optimizasyon algoritmaları kavramlarını temelde birleştiriyor.
Bu paradigma, karmaşık bir makine öğrenimi modelinin, özünde her biri kendi bağımsız "bağlam akışına" ve güncelleme hızına sahip bir dizi iç içe geçmiş veya paralel optimizasyon problemi olduğunu varsayar. Bu bakış açısı, araştırmacıların daha derin hesaplamalı yapay zeka bileşenleri oluşturmalarına ve böylece felaket boyutundaki unutma sorununu etkili bir şekilde azaltmalarına olanak tanıyan yepyeni bir tasarım boyutu ortaya çıkarır.
Araştırma ekibi, iç içe öğrenme paradigmasına dayanarak iki özel teknik iyileştirme önerdi:
- Bunlardan ilki, optimizasyon aracının kendisini bir öğrenme modülü olarak ele alan ve altta yatan amaç fonksiyonunu iyileştirerek, onu kusurlu verilere (bir sistemin veya sürecin belirsizlik, değişim, yanlış girdi veya anormal koşullar karşısında işlevselliğini ve istikrarını koruyabilme yeteneği) karşı daha dayanıklı hale getiren "derin optimizasyon araçları"dır.
- İkincisi ise , modelin belleğini farklı güncelleme frekanslarına sahip birden fazla modülden oluşan bir spektrum olarak ele alan, kısa süreli bellekten uzun süreli belleğe sorunsuz geçiş yapan, daha zengin ve daha verimli bir sürekli öğrenme bellek sistemi oluşturan "Sürekli Bellek Sistemleri"dir (CMS).
Yukarıdaki teoriyi doğrulamak için araştırma ekibi, "Hope" adlı bir kavram kanıtlama modeli tasarlayıp uyguladı. Hope, Titans mimarisine dayanan, kendini değiştiren, yinelemeli bir ağdır. Süreklilik Bellek Sistemi'ni (CMS) derinlemesine entegre eder ve öz-referanslı bir süreçle kendi belleğini optimize ederek neredeyse sonsuz düzeyde bağlam öğrenimi sağlayabilir.
Genel olarak erişilebilir dil modelleme ve sağduyulu akıl yürütme görevlerinde Hope mimarisi, modern yinelemeli modellere ve standart Transformer'a kıyasla daha düşük karmaşıklık ve önemli ölçüde daha yüksek doğruluk sergiliyor.
Özellikle modelin uzun metinleri hatırlama yeteneğini test eden Needle-In-Haystack (NIAH) testinde Hope, mükemmel bellek yönetimi yetenekleri göstererek, sürekli bellek sistemlerinin ultra uzun bilgi dizilerini işlemek için etkili bir çözüm olduğunu kanıtladı ve gerçek anlamda "geçmişten ders çıkarıp bugünü anlayabilen" yapay zekanın önünü açtı.
NIAH, büyük dil modellerinin uzun metinleri anlama ve bilgi alma becerisini değerlendirmek için kullanılan bir ölçüttür. Modelin, çok uzun bir metinden (samanlık) belirli bir bilgi noktasını (iğne) doğru bir şekilde tespit edip yanıtlamasını gerektirir.
Kaynak:
https://research.google/blog/introdu...ce=chatgpt.com
Kısa özet isteyenler için
https://www.youtube.com/watch?v=VAhjMkOkPG4