Quanta Magazine: Zekânın Özü ‘Dikkat’ mi?

Matematiksel bir mekanizma, yapay zekâ modellerinin dili büyük ölçekte işlemesini sağlayarak günümüzdeki yapay zekâ devriminin temelini oluşturuyor. Köşe yazarımız soruyor: Neden kilit nokta "dikkat"?ChatGPT'nin 2022'de piyasaya sürülmesinden bu yana dünyayı kasıp kavuran her şey —"yapay zekâ ekonomisi", veri merkezleri, en iyi arkadaş, doktor veya matematikçi rolüne bürünen sohbet botları ve varoluşsal risk tartışmaları— aslında bir bakıma, Montreal Üniversitesi'ndeki bir laboratuvarda çalışan Dzmitry Bahdanau adlı bir stajyerle başladı.

Yıl 2014'tü. Çocukluğundan beri rekabetçi düzeyde kodlama yapan ancak daha önce hiç akademik araştırma yürütmemiş olan 23 yaşındaki Belaruslu gençten, bir bilgisayarın İngilizce cümleleri Fransızcaya nasıl çevirebileceğini çözmeye yardımcı olması istendi. Bahdanau, el yazısını çözme ve fotoğraflardaki nesneleri tanımlama gibi örüntü tanıma görevlerinde halihazırda umut vaat eden yapay sinir ağları üzerinde çalışıyordu. Bu ağlar, eğitim verilerine yanıt olarak düğümler arasındaki bağlantıları güçlendirip zayıflatarak örüntüleri tanımayı öğrenirler. Bahdanau, bu ağların insan düzeyinde bir zekâya benzer bir şey elde etme potansiyeli konusunda içten içe şüphe duyuyordu; ancak danışmanı bilgisayar bilimci Yoshua Bengio ve projedeki doktora sonrası araştırmacı Kyunghyun Cho bu konuda inançlıydı. Üstelik çeviri, sinir ağlarının çözmeye çalışması açısından zorlu ve ilgi çekici bir sorun olarak görülüyordu.

Çeviri, her bir İngilizce kelimeyi bir Fransızca kelimeyle değiştirmek kadar basit bir işlem değildir. Dillerin farklı dilbilgisi yapıları vardır; ayrıca deyimler ve çağrışımlarla doludurlar; tüm bunlar da sürecin otomatikleştirilmesine yönelik girişimlerin uzun süre sekteye uğramasına neden olmuştur. Öylece çeviri kuralları uygulayamazsınız, çünkü ortada böyle kurallar yoktur. Ancak sinir ağları umut vaat ediyordu çünkü örnekler üzerinden öğreniyorlardı. Bu ağlar, İngilizce ve Fransızca eşleşmiş cümlelerden oluşan devasa veri tabanları üzerinde eğitilerek zamanla o yarı-kuralları, istisnaları ve incelikleri özümseyebiliyordu.

Felsefede "qualia" (niteliksel deneyimler), deneyimlerimizin öznel niteliklerini ifade eder: Alice'in maviyi görmesi ya da Bob'un büyük bir sevinç hissetmesi gibi durumların nasıl bir his olduğu. Merhum filozof Daniel Dennett'in ifadesiyle qualia, "şeylerin bize nasıl göründüğü"dür. Bu yazılarda köşe yazarlarımız meraklarının peşinden gidiyor; önemli ancak cevaplanması şart olmayan bilimsel soruları inceliyorlar.

Yine de sonuçlar vasattı; cümle uzadıkça sinir ağlarının performansı düşüyordu. Bunun nedeni, araştırmacıların hedef dildeki cümleyi çözmeden önce her bir cümlenin verisini sabit miktarda bir belleğe sığdırmaya çalışmalarıydı. Bu durum, çevirilerin ne kadar karmaşık ve gelişmiş olabileceğini sınırlayan bir darboğaz yaratıyordu. Ağ mimarisi bir türlü doğru kurgulanamıyordu.

Bunun üzerine Bahdanau farklı bir yol denedi. Hâlâ Montreal'de yapay zeka alanında çalışmalarını sürdüren Bahdanau, benimle yaptığı görüşmede o anı şöyle anımsıyordu: "Yapılması gereken doğru şeyin bu olduğu çok açıktı; bilimde nadiren rastlanan, o alanda çok deneyimli olmayan birinin bile durumu hemen kavrayabildiği türden bir andı. Ve yöntem işe yaradı. Hem de daha ilk denemede."

Bahdanau’nun; Cho ve Bengio ile birlikte "dikkat" (attention) olarak adlandırdığı matematiksel bir işlemden ibaret olan bu yöntemi, sinir ağlarının uzun cümleleri de kısa cümleler kadar başarılı bir şekilde çevirebilmesini sağladı. Bu da söz konusu yaklaşımın ölçeklenebilir olduğu anlamına geliyordu. O dönemdeki diğer yapay zeka araştırmacıları da "dikkat" mekanizmasını hızla kendi sinir ağı tasarımlarına entegre ettiler. Ardından 2017'de Google'dan bir ekip, "transformer" adı verilen yeni bir sinir ağı mimarisi geliştirdi; bu mimari, dikkat yönteminin gücünü katbekat artırırken diğer tüm gereksiz unsurları ortadan kaldırıyordu. Ekibin "Attention Is All You Need" (İhtiyacınız Olan Tek Şey Dikkat) başlıklı makalesi, transformer modellerinin, önceki modelleri eğitmek için gereken işlem gücünün çok küçük bir kısmını kullanarak en üst düzeyde çeviri performansı sergilediğini ortaya koyuyordu. O tarihten bu yana 250.000'den fazla kez atıf alan bu makale, yapay zeka alanında bir dönüm noktası oldu. Bunu ChatGPT ve Claude gibi büyük dil modelleri izledi.

Ortaya çıkan bu muazzam güç göz önüne alındığında; bu dikkat mekanizmasının tam olarak ne olduğunu, neden "ihtiyaç duyulan tek şey" olduğunu ve tüm bunların kapısını neden makine çevirisi görevinin araladığını sorgulamakta fayda var. Dikkat mekanizması; tek bir yapay zeka modelinin bizimle nasıl sohbet edebildiğini, hastalıkları nasıl teşhis edebildiğini, gerçekçi videolar nasıl üretebildiğini, uzun süredir çözülemeyen matematik problemlerini nasıl çözebildiğini ve daha pek çok şeyi nasıl yapabildiğini anlamamızı sağlayan bir yöntemdir. Acaba bir şekilde zekânın —yapay olsun ya da olmasın— tam kalbinde mi yer alıyor?

"It" (o) gibi zamirler içeren cümleler, "dikkat" (attention) mekanizmasının üstesinden geldiği zorluğu gözler önüne serer. Şu örneklere bakalım: "Hayvan caddeyi geçmedi çünkü çok yorgundu." Ve: "Hayvan caddeyi geçmedi çünkü cadde çok genişti." Bu cümleleri Fransızcaya doğru bir şekilde çevirmek için bir yapay zeka modelinin şunları tespit etmesi gerekir: İlk cümlede "it" zamiri hayvana (Fransızcada eril bir sözcük) karşılık gelir, dolayısıyla çeviride zamirin eril biçimi olan "il" kullanılmalıdır. Ancak ikinci cümlede "it" zamiri caddeye (dişil bir sözcük) karşılık gelir ve bu da farklı bir zamir olan "elle" kullanımını gerektirir. Peki, makine bunu nasıl anlayabilir?

Bahdanau, okulda İngilizce öğrenirken yaptığı çeviri alıştırmalarını hatırladı. Çeviri cümlesindeki her bir sonraki kelimeyi yazarken, sırada neyin gelmesi gerektiğini anlamak için kaynak metnin tamamına göz atması gerekirdi. "Kelimenin tam anlamıyla, solunuzda kaynak cümle, sağınızda ise yazdığınız metin olur; başınızı sürekli sola-sağa, sola-sağa çevirip durursunuz," dedi. "İşte benim sinirsel bir mekanizma olarak ifade ettiğim süreç buydu." Sinir ağına kazandırdığı "dikkat" aracı, ağın, cümlenin herhangi bir yerindeki —çevirinin bir sonraki kelimesine en fazla ipucu sağlayacak olan— kelime veya kelimeleri tespit etmesini sağlayan matematiksel bir yöntemdi. Belirsizlik taşıyan "it" zamiri örneğinde sistem, anlamını en çok etkileyen kelimelerin hangileri olduğunu belirlemek için cümlenin geri kalanını tarar.

Bir Transformer modeli, bitişik katmanlardaki düğümlere bağlı düğümlerden oluşan çok sayıda katmandan meydana gelir. Bir cümle Transformer'a girildiğinde, her kelime öncelikle "vektör" adı verilen sayısal bir gösterime dönüştürülür; bu vektörleri, belirli bir yönü işaret eden oklar olarak hayal edebiliriz. Bu vektörler ağ boyunca ilerler ve (modelin eğitimi sırasında belirlenen) "ağırlık" adı verilen sayılar, vektörlerin her katmanda nasıl dönüştürüleceğini tayin eder. Ağırlıklar, her kelimenin mevcut vektör gösterimini, dikkat işleminde farklı bir amaca hizmet eden ve o kelimeye özgü üç yeni vektöre —"sorgu" (query), "anahtar" (key) ve "değer" (value)— dönüştürür. Ağ, bu işlemi "dikkat başlıkları" (attention heads) adı verilen sistemler aracılığıyla paralel olarak defalarca gerçekleştirir. Bir dikkat başlığı, her bir kelimenin sorgusunu (query), cümledeki diğer tüm kelimelerin anahtarlarıyla (keys) karşılaştırır. Bu vektörlerin ne kadar iyi eşleştiği —yani ne ölçüde aynı yönü işaret ettiği—, diğer kelimelerin her birinin taşıdığı değerin (value), üzerinde çalışılan kelime için oluşturulacak yeni ve güncellenmiş vektöre ne kadar güçlü bir katkı sağlayacağını belirler. Cümledeki diğer kelimelere dair bilgiler, kelimelerin her birinin temsiline (vektörsel ifadesine) adeta dahil edilir. Sistem, bağlamı matematiğe dönüştürmektedir.

"The animal didn’t cross the street because it was too tired" (Hayvan, çok yorgun olduğu için caddeyi geçmedi) cümlesi bir Transformer modeline girdiğinde, ağın "kodlayıcı" (encoder) olarak bilinen ilk katman grubu, cümlenin bağlamsal bir kavrayışını oluşturmak için dikkat işlemini kullanır. Her katmanda, her bir dikkat başlığı "it" (o) kelimesi için bir sorgu (ve buna eşlik eden bir anahtar ve değer) üretir. Bu sorgu vektörü, cümlenin başka bir yerinde bulunan bilgiye yönelik bir talep olarak düşünülebilir. Örneğin, derin bir katmanda (ağ kelimeler hakkında halihazırda bilgi biriktirmişken), "it" kelimesi için oluşturulan sorgu şu şekilde yorumlanabilir: "Yorgun olma durumuna makul bir şekilde uyabilecek, daha önce geçmiş bir isme ihtiyacım var." Bu sırada, "animal" (hayvan) kelimesiyle ilişkili anahtar, sahip olduğu pek çok özelliğin yanı sıra, yorgun olabilme kapasitesine sahip bir isim olduğunu adeta "ilan eder". Dolayısıyla bu anahtar, "street" (cadde) kelimesinin anahtarına kıyasla sorguyla daha iyi eşleşir. Bu durum da "animal" ile ilişkili değerin, "it" kelimesinin güncellenen temsiline daha büyük bir katkı sağlamasına yol açar.

"It" kelimesinin bu yeni ve bağlamla zenginleştirilmiş temsili, bir sonraki katmana aktarılır. Burada ağ, dikkat işlemini baştan gerçekleştirir. Art arda yapılan bu işlemler, kelimelerin giderek daha zengin temsiller kazanmasını sağlar.

Uzmanlar, herhangi bir dikkat başlığının tam olarak ne yaptığını yorumlamanın genellikle zor olduğunu, ancak bu başlıkların hep birlikte isimler ve fiiller arasındaki ilişkiden canlı varlıklar ve duygular arasındaki bağlantılara kadar pek çok ilişki türünü yakaladığını belirtiyor. Daha sonraki katmanlar, önceki katmanların kurduğu bağlantıların üzerine yenilerini inşa eder; böylece cümle kodlayıcıdan çıktığında, "it" kelimesi anlama benzer bir nitelik kazanmış olur. Ardından, transformer'ın ikinci bölümü olan kod çözücü (decoder), Fransızca çeviriyi kelime kelime üretir; bunu yaparken, bir sonraki Fransızca kelimenin hangisi olacağına karar vermek üzere, İngilizce kelimelerin kodlayıcı (encoder) tarafından oluşturulan sayısal temsillerinden yararlanmak için "dikkat" (attention) mekanizmasını kullanır. İngilizce cümlede kodlanmış olan bağlamsal bilgi, "it" ifadesinin eril formdaki "il" olarak çevrilmesine yardımcı olur.


En önemlisi, bir "transformer" modeline hayvanların yorulabileceği veya sokakların geniş olabileceği bilgisini kimsenin vermesi gerekmiyordu. Sinir ağı, bu tür ilişkileri eğitim sırasında, Fransızca çevirileriyle eşleştirilmiş çok sayıda İngilizce cümleden öğrenerek keşfeder. Bu ilişkiler, ağın ağırlıklarına işlenir. Ağ işe, işe yaramaz sorgular (queries), anahtarlar (keys) ve değerler (values) —ve dolayısıyla kötü çeviriler— üreten rastgele ağırlıklarla başlar. Ancak her bir çeviri hatası, ağ üzerinden geriye doğru bir düzeltme sinyali göndererek o hataya yol açan ağırlıkları hafifçe değiştirir. Trilyonlarca ayarlama sonucunda ağ, daha önce hiç görmediği cümleleri işlerken bile doğru çeviriler sağlayan yararlı vektörler üretmeyi başarır.

"Dikkat" (attention) mekanizmasının, çevirinin temeli olan kelimeleri birbirine bağlama ve bağlam oluşturma konusunda doğru matematiksel işlem olduğu ortaya çıktı. Üstelik sınırsız uzunluktaki metin bloklarını çevirebildiğinizde, her şeyi yapabiliyormuşsunuz gibi görünüyor.

Cümleleri İngilizceden Fransızcaya çevirebilecek kadar dil bilgisi edinmiş bir sinir ağı, her iki dilde de cümleleri tamamlayabilir. Başka bir deyişle, bir çeviri sırasında sıradaki kelimeyi tahmin etmek, genel "sıradaki kelimeyi tahmin etme" görevinin —nokta— bir alt görevidir. Büyük dil modellerinin yaptığı iş de tam olarak budur. Bu modeller, tüm internetin içeriğiyle eğitilir ve her türlü bağlamda hangi kelimelerin diğer hangi kelimelere "odaklanması" (dikkat etmesi) gerektiğini öğrenirler. Tüm veri setini tekrar tekrar işlerler ve eğitim sırasında web'in hangi bölümünde olurlarsa olsunlar, sıradaki kelimeyi tahmin etmek için trilyonlarca kez deneme yaparlar. Bu modellerdeki nöronlar arasındaki bağlantılar, her türlü bağlamda sıradaki kelimeyi tahmin etmek —veya bir insanın verdiği komuta uygun bir yanıt üretmek— için giderek daha yararlı olan kelimeler arası dikkat örüntüleri oluşturacak şekilde kademeli olarak ince ayardan geçirilir.

"It" (o) kelimesini çevirebilme becerisinden, bir şekilde devrim niteliğinde bir gelişmeye ulaştık.

Şu anda Sakana AI'da Teknoloji Direktörü (CTO) olarak görev yapan ve "Attention Is All You Need" (İhtiyacınız Olan Tek Şey Dikkat) makalesinin yazarlarından biri olan Llion Jones, "Bu epey büyük bir sıçrama, değil mi?" dedi. Jones ve diğerleri, dil modelleme olarak bilinen bir sonraki kelimeyi tahmin etme işinin "yapay zeka açısından tam" (AI-complete) nitelikte olduğundan şüpheleniyorlar; yani bu, çözülmesi halinde genel anlamda yapay zeka probleminin de çözülmüş sayılacağı kadar zorlu bir görev. Bunun "yapay zeka açısından tam" bir görev olarak görülmesinin nedeni, insanların yazılı biçimde yaptığı hemen hemen her şeyi bir alt görev olarak bünyesinde barındırmasıdır. Jones, "İnternette çeviriler mevcut," diye belirtiyor. "Dolayısıyla, 'Fransızcada "Hayvan, çok yorgun olduğu için karşıya geçmedi" cümlesinin karşılığı [boşluk] ifadesidir' desem, transformer modelinin o cümleyi tamamlayabilmesi için Fransızcaya çeviri yapabilmesi gerekir. '2 + 3 işleminin sonucu [boşluk]' desem, aritmetik işlem yapması gerekir. Art arda dizilmiş bir dizi matematiksel sembol görüp sonrasında neyin geleceğini bilmek isterse, ileri düzey matematiği anlaması gerekir. 'Amerika Birleşik Devletleri Başkanı [boşluk]' desem, olgusal bilgileri bilmesi gerekir. Yani bir sonraki kelimeyi tahmin edebilmek, tüm bu becerilere sahip olmayı gerektirir. Ve bu görev 'yapay zeka açısından tam' nitelikte olduğu için, dil modelleme zekaya dair elimizdeki en yakın tanım sayılabilir."

Bir LLM'in (Büyük Dil Modeli) herhangi bir şeyi —bir insanın yaptığı anlamda— "bildiğini" veya "anladığını" söylemek belki pek doğru olmayabilir; ancak sergiledikleri yeteneklerden bahsederken kullandığımız dil alışkanlığı bu yöndedir. Her halükarda "dikkat" (attention) mekanizması, yapay sinir ağlarının anlam, çağrışım ve bağlama erişip bunları aktarmasını sağlayan araçtır; üstelik bunu genellikle bizi akıcılıklarıyla hayrete düşürecek kadar iyi yaparlar. (İleri düzey matematik gibi görevlerde, günümüzün en gelişmiş yapay zeka modelleri, yaptıkları işlemleri kontrol etmek amacıyla genellikle dil modelleme yeteneklerinin üzerine inşa edilmiş daha belirgin biçimsel akıl yürütme ve kanıt doğrulama sistemlerinden de yararlanırlar.)

Peki ya insan zekası? Acaba beyinlerimiz de Bahdanau'nun geliştirdiği matematiksel işleme benzer bir mekanizma kullanıyor olabilir mi? Ne de olsa bizler de konuşurken, yazarken ve hatta düşünürken "mümkün olan en iyi bir sonraki kelimeyi üretmeye" benzer bir eylem gerçekleştiriyoruz. Belki de bizim zeka biçimimiz de aslında dil modellemeyle eşdeğerdir? Bilişsel bilimciler bu soruyu —yani dilin düşünceyle nasıl bir ilişki içinde olduğuna dair kadim sorunun yeni bir versiyonunu— incelemeye başladılar. Kuşkusuz, Büyük Dil Modellerinin (LLM'ler) başarısı, dünya hakkındaki ne denli büyük bir bilginin yalnızca dilin istatistiksel örüntülerine kodlanmış olduğunu gözler önüne seriyor. Asıl soru şu: Dilde ustalaştığımızda, zeka da kendiliğinden beraberinde gelir mi?

Yakın tarihli araştırmalar (yeni bir sekme açar), insan düşüncesinin yalnızca dilsel olmadığı (ve diğer hayvanların çoğunun zekasının hiç de dilsel olmadığı) konusunda beni ikna ediyor: Düşünürken, beyin korteksinde dille ilişkili özelleşmiş ağlardan çok daha fazla beyin bölgesi harekete geçiyor. Dil, dünya hakkındaki iletişimimizi sağlayan araçtır; ancak düşüncelerimiz; duyusal izlenimlerden, fiziksel ve sosyal deneyimlerden, anılardan ve en azından kısmen beynin dil ağlarının dışında var olan muhakeme yeteneklerinden besleniyor gibi görünmektedir. Dolayısıyla dil modelleme, insan bilişinin eşdeğeri veya kaynağı değil, yalnızca güçlü bir bileşeni gibi duruyor.

"Bunu" nasıl yaptığımıza —yani yorgun olanın sokak değil de hayvan olduğunu nasıl anında anladığıma— gelince; bunu henüz kimse bilmiyor. Jones ise artık, dil modellemede gerçekten ustalaşmak için gereken tek şeyin "dikkat" (attention) mekanizması olmadığını düşünüyor. Ne de olsa beyin, bu görevi "transformer" modellerinden çok daha verimli bir şekilde yerine getiriyor. Tüm interneti bir kez bile okumadan ve o denli yüksek enerji harcamadan akıcı bir şekilde sohbet edebiliyoruz. Jones, "Mevcut paradigma bu [verimlilik] sorununu çözmeyecek," dedi. "Çok ama çok farklı bir şeye geçiş yapılması gerekiyor gibi görünüyor."

Kendi nöral mekanizmalarımızın işleyişi ne olursa olsun, geriye dönüp bakıldığında çeviri probleminin çözülmesinin yapay zekanın önünü açmış olması bana mantıklı geliyor. İster insan ister makine olun, etkili bir şekilde çeviri yapabilme becerisi, bir anlamda konuyu kavramış olduğunuz anlamına gelir. Makineler artık o kadar çok şeyi —en azından işlevsel düzeyde— anlıyor ki, ne düşüneceğimizi bilemez hale geldik.

Kaynak: Is ‘Attention’ the Essence of Intelligence? - Natalie Wolchover / Quanta Magazine

.