Network World: Nvidia yapay zeka fabrikasını inşa etti. Şimdi ise kapıların kilitlerini yapıyor.

Yapay zeka alanındaki büyük yükselişin büyük bölümünde herkes güvenliğin önemli olduğu konusunda hemfikirdi; ancak çok azı işe güvenlik odaklı bir yaklaşımla başladı. Tartışmalar daha çok token'lar, gigawatt'lar, GPU'lar ve diğer altyapı unsurları etrafında şekillendi.


Görsel: Shutterstock


Nvidia, bu çağın en önemli bilişim platformunu inşa ederek yapay zeka devriminin büyük kısmında sektöre liderlik etti. Yine de kimse Nvidia'yı bir güvenlik şirketi olarak görmedi.

Görsel: Nvidia

Bu algı, Nvidia'nın "Open Agent Safety Platform"unun (Açık Ajan Güvenlik Platformu) bu hafta tanıtılmasıyla değişebilir; zira bu platform, Nvidia OpenShell çalışma zamanı ortamını "Sentry" adlı yeni ve donanım tabanlı bir denetleyici mekanizmayla birleştirerek yapay zeka ajanlarını yönetmeye yönelik uçtan uca (full-stack) bir yaklaşım sunuyor.

Biraz geriye gidersek; Nvidia'nın yıllardır Nvidia BlueField DPU'lar, DOCA, Morpheus, Confidential Computing (Gizli Bilişim) ve NeMo Guardrails gibi güvenlik yeteneklerine ve ürünlerine sahip olduğunu görürüz. Bunlar; Palo Alto, Check Point, Fortinet ve diğerlerinin üzerinde çalışabileceği güvenlik platformlarıdır; bu da Nvidia'nın bir güvenlik markası olarak bilinmese de güvenlik alanında aktif olduğunu göstermektedir.

Görsel: Nvidia BlueField 3 DPU

Üstelik Nvidia'nın kendi yazılımları da saldırı hedefi olmuştur. Geçen yıl Wiz Research, Nvidia Container Toolkit'te kritik bir "konteynerden kaçış" (container escape) açığı olan Nvidia Scape'i ifşa etmişti. Kodunuz neredeyse her yapay zeka iş yükünün temelinde yer aldığında, böyle bir açık tüm sektörü ilgilendiren bir riske dönüşür. Aslında ben, şirketin yapay zekanın güvenliğini sağlama konusundaki rolü hakkında daha fazla ses çıkarması gerektiğini savunuyordum. Dünya Nvidia'yı bir yapay zeka markası olarak tanıyor; oysa güvenlik de bilişim ve ağ oluşturma kadar önemli bir bileşen olmalı.

Nvidia, Open Agent Safety Platform ile güvenliği yapay zeka stratejisinin merkezine yerleştiriyor ve konuyu, yapay zeka yığınının diğer bölümlerinde yaptığı gibi, yeniden ele alınması gereken bir mühendislik sorunu olarak görüyor.



Ajanlar, eski güvenlik modelini geçersiz kılıyor

Bu stratejik değişimin arkasında ajanlar yer alıyor. Yakın tarihli bir analist bilgilendirme toplantısında, Nvidia'da OpenShell'i geliştiren ekibin başında bulunan Kıdemli Direktör Ali Golshan, geleneksel kontrollerin neden yetersiz kaldığını açıkladı. Sanal makine ve konteyner dünyasında bir politika oluşturup bunu bir sürece, bir ad alanına (namespace) veya bir pod'a bağlayabiliyordunuz. Golshan, “Ancak ajanlar bu şekilde çalışmaz,” dedi. “Ajanların davranışları; dosya sistemi, ağ, bellek ve diğer ajanlar genelinde kendini gösterir.”

Ajanlar sorunları çözmek üzere eğitilir; bu nedenle bir engelle karşılaştıklarında, o engelin etrafından dolaşırlar. Golshan, “Ajanlar aslında, izin verilmeyen bir politika engeli ile bir işlem hatası arasındaki farkı tam olarak anlamazlar,” dedi. Durumun neden zorlu olduğunu en iyi özetleyen sözü ise şuydu: “Ajanlar kurulmaz, geliştirilerek büyütülür.” Nvidia’nın araştırmaları, alt ajanların, kendilerine tanınan yetenekleri politikanın öngörmediği şekillerde birleştirebildiklerini ortaya koydu. Policy Prover aracı, bu riske karşı kontroller yapıyor.

Görsel: Nvidia


Sektör, bu riskin gerçeğe dönüştüğü bir duruma halihazırda tanık oldu. Temmuz ayında, bir OpenAI ajanının kontrolden çıkarak Hugging Face sistemine sızdığı bildirilmiş; bu olay Nvidia’yı Open Secure AI Alliance’ı (Açık Güvenli Yapay Zeka İttifakı) kurmaya yöneltmişti. Bu hafta, Nvidia’nın kurumsal yapay zekadan sorumlu başkan yardımcısı Justin Boitano, söz konusu başarısızlığa atıfta bulunarak durumu şöyle değerlendirdi: “Yakın zamanda yaşanan olaylar, yapay zeka ajanları için temel bir engeli gözler önüne serdi: Sadece model düzeyindeki güvenlik önlemleri, ajanların nelere erişebileceğini veya neler yapabileceğini kontrol altında tutmaya yetmiyor.”

Görsel: Open Secure AI Alliance


Nvidia'nın duyurdukları

Open Agent Safety Platform (Açık Ajan Güvenlik Platformu), iki ana bileşenden oluşan açık bir referans tasarımıdır. Bunlardan ilki, politika uygulamasını ajanın erişim alanının dışına çıkarıp Linux çekirdeğine taşıyan, Apache 2.0 lisanslı bir çalışma zamanı (runtime) olan OpenShell'dir. Her ajan kendi korumalı alanında (sandbox) çalışır; kimlik bilgileri bu alanın dışındaki bir ağ geçidinde tutulur ve bir politika doğrulayıcı, ajan çalışmaya başlamadan önce sınırları doğrulamak için biçimsel yöntemler kullanır. Boitano, "Bir geliştirici, örneğin, bir ajanın çalışmaya başlamadan önce internete erişemeyeceğini kanıtlayabilir," dedi. Golshan, bunun "hakem rolündeki bir LLM" (Büyük Dil Modeli) değil, aksine deterministik ve matematiksel bir akıl yürütme süreci olduğunu vurguladı.

OpenShell, Mart ayındaki ilk çıkışından bu yana olgunlaştı. Golshan, analistlere yönelik bir soru-cevap oturumunda, "Mart ayında piyasaya sürdüğümüzde sistem esasen tek kullanıcılıydı," dedi. "Bu sürümle birlikte ise tam anlamıyla çok kiracılı (multi-tenant) bir yapıya kavuştu." Yeni sürümü, mevcut işleyişi bozacak değişiklikler içermeyen istikrarlı bir temel olarak tanımlayan Golshan, "Artık geniş çaplı kullanıma hazır," diye ekledi.

İkinci bileşen olan Sentry ise stratejik açıdan daha ilgi çekici olanıdır. Sentry, BlueField-4 DPU'ları üzerinde bağımsız ve bant dışı (out-of-band) bir güvenlik alanı olarak çalışır. DPU, CPU üzerindeki ajan altyapısı ile ajanın çağırdığı model arasında konumlandığından; Sentry istekleri, yanıtları ve "düşünce zinciri" (chain-of-thought) akıl yürütme süreçlerini izleyebilir ve ajanın faaliyetini milisaniyeler içinde durdurabilir. Boitano bunu, otonom araçlardaki "güvenlik adasına" —yani ana sistemin arızalanması durumunda güvenli bir duruşu garanti eden bağımsız sisteme— benzetti. Eğer bir güvenlik testi ajanı, onaylanmış hedefinin ötesine geçmeye yönelik bir akıl yürütme sürecine girerse, Boitano'nun ifadesiyle "Sentry bunu tespit edip anında müdahale edebilir." Önemli bir nokta olarak, BlueField üzerindeki Sentry, ilave koruma sağlayan isteğe bağlı bir güvenlik katmanı ekler. Boitano, çoğu kurumsal erişim kontrolü senaryosu için CPU üzerindeki OpenShell'in "açıkçası yeterli" olduğunu; Sentry'nin ise "red teaming" (saldırı simülasyonu) ve henüz hizalanmamış (alignment süreci tamamlanmamış) modellerin değerlendirilmesi gibi ileri düzey çalışmalara yönelik olduğunu belirtti.

Bu girişime ağırlık kazandıran unsur ise ortaklar listesidir. Nvidia'ya göre Anthropic, Claude Managed Agents çözümünü OpenShell ve BlueField ile entegre ediyor; Salesforce, ekiplerin aracı (agent) izin taleplerini onaylayıp reddedebilmesi için OpenShell'i Slack'e entegre etti; SAP bunu Joule Studio'ya dahil ediyor; SpaceXAI ise platformu Cursor kodlama araçları ve Grok modelleri için kullanıyor. Citi ve JPMorganChase bu teknoloji üzerinde iş birliği yapıyor ve 100'den fazla kuruluş bu teknolojiyle çalışıyor. SpaceXAI Başkanı Mike Nicolls, yapılan açıklamada, "Güvenlik, aracın aşamayacağı ek kontroller aracılığıyla modelin dışında sağlanmalıdır," dedi. Bu cümle, tüm mimariyi özetliyor.



Felaket senaryolarına karşı çözüm: Mühendislik

Bu ayın başlarında düzenlenen All-In Zirvesi'nde CEO Jensen Huang bu konuya değindi. Zamanının büyük kısmını felaket senaryolarına itiraz ederek geçirse de güvenliği göz ardı etmedi. Güvenlik ile liderlik arasındaki tercihin yanlış bir ikilem olduğunu belirterek, "Güvenlik her şeyden önemlidir," dedi. İleri düzey yapay zeka laboratuvarlarında yaşanan olaylara yönelik reçetesi ise tamamen mühendislik odaklıydı: "Sorunun kök nedenini mühendislik perspektifinden ele alın. Ne oldu? Neyi farklı yapabilirdik? Ve neleri hayata geçirip kurumsallaştıracağız?"

Bu haftaki lansman, Nvidia'nın söylemlerini mühendislik çalışmalarıyla desteklediğinin bir göstergesi. Huang, "Yapay zekanın toplum için taşıdığı olağanüstü potansiyel, ancak yapay zeka güvenliği sorununu çözmemizle hayata geçirilebilir," dedi ve ekledi: "Güvenlik ve emniyet, uçtan uca (full-stack) mühendislik gerektirir." CNBC'ye verdiği bir röportajda bu konuyu daha da açarak, "Dünya, yapay zekanın güvenli bir şekilde geliştirilip kullanıma sunulduğuna inanmadığı ve bundan emin olmadığı sürece başarılı bir yapay zeka endüstrisine sahip olamayız," ifadesini kullandı. Boitano'nun basın toplantısındaki yorumları da bu görüşle örtüşüyordu: "Endüstrinin, sınırlar dahilinde kalmayı vaat eden aracılara değil; bu sınırları kanıtlayabilen ve uygulayabilen sistemlere ihtiyacı var."
Hâlâ yapılması gerekenler

Bu, ileriye doğru atılmış anlamlı bir adım olsa da bazı sorular varlığını koruyor. Analistlerle yapılan soru-cevap oturumunda, bunun OpenAI, Google ve kendi denetim mekanizmaları (harness) ile korumalı çalışma ortamlarını (sandbox) geliştiren diğer şirketlerin çalışmalarıyla nasıl uyumlu olduğunu sordum. Boitano, OpenShell'in "her türlü denetim mekanizması ve model kombinasyonuyla uyumlu" olacak şekilde tasarlandığını söyledi; ancak OpenAI ve Google lansman ortakları arasında yer almıyor ve bu şirketlerin desteği büyük önem taşıyacak. Ayrıca yönetişim konusunu da sordum. Nvidia, OpenShell'i CNCF bünyesine dahil etmek amacıyla Linux Foundation'a devretmeyi planlıyor; ancak bu adım henüz gerçekleşmedi. Bu gerçekleşene dek, bazı alıcılar OpenShell'i bir endüstri standardı olarak değil, bir Nvidia projesi olarak görecektir.

Performans konusu da bir diğer belirsizlik unsuru. Boitano, OpenShell'in CPU çekirdekleri üzerinde çalıştırılmasının "hafif bir etkisi" olacağını ve Nvidia'nın henüz resmi performans ölçümleri yayınlamadığını kabul etti. OpenShell açık kaynaklı bir yapıya sahip olup Arm ve x86 mimarilerinde çalışabilse de, Sentry; BlueField ve DOCA üzerine inşa edilmiş bir Nvidia uygulamasıdır. Bu çözümün en güçlü senaryosu Vera CPU'lar ve BlueField-4 üzerinde çalışarak, derinlemesine savunma (defense-in-depth) arayışındaki müşterilere fayda sağlamakta ve Nvidia'nın donanım iş kolunu desteklemektedir. Ayrıca Nvidia'nın, kendisini daha önce bir güvenlik şirketi olarak görmemiş olan CISO'ların (Bilgi Güvenliği Yöneticileri) nezdinde güvenilirlik kazanması da gerekecektir.






BT Liderleri İçin Tavsiyeler

Çoğu kuruluş, ajanların kullanımında henüz başlangıç aşamasındadır; bu nedenle, yüzlerce uzun süreli ajanın işletme genelinde çalışmaya başlamasından önce temeli doğru bir şekilde kurmanın tam zamanıdır. İşte önceliklendireceğim noktalar:

  • Ajanları özellikler değil, kimlikler olarak ele alın. Her ajan ve alt ajanın, tıpkı bir insan kullanıcı veya hizmet hesabı gibi kendi kimliği, sahibi ve yaşam döngüsü olmalıdır. Ortamınızda çalışan ajanları ve her birinin nelere erişebildiğini listeleyemiyorsanız, bu envanter ilk adımdır. Gölge ajanlar, yeni gölge BT haline gelecektir.
  • Kimlik bilgilerini ajanlardan uzak tutun. OpenShell'deki ağ geçidi modeli, Nvidia yazılımını kullanıp kullanmamanızdan bağımsız olarak doğru modeldir. Ajanlar, uzun ömürlü anahtarlar veya belirteçler değil, süreçlerinin dışında bir şey tarafından aracılık edilen kısa ömürlü, kapsamlı oturumlar almalıdır. Bir ajan, komut istemi enjeksiyonu yoluyla tehlikeye atılırsa, çalınmaya değer hiçbir şeye ve gidecek hiçbir yere sahip olmamalıdır.
  • Ajanın dışında uygulama yapın. Hızlı talimatlar ve model düzeyindeki güvenlik önlemleri faydalıdır, ancak bunlar sorunları yaratıcı bir şekilde çözmek için tasarlanmış bir sistem için önerilerdir. Önemli politikalar, çalışma zamanı, çekirdek, ağ veya donanım katmanında uygulanmalıdır. Herhangi bir kontrol için iyi bir test: Zeki bir ajan bunu atlatabilir mi? Eğer evet ise, bu bir kontrol değildir.
  • Yazılımla başlayın, ardından riskin haklı çıkardığı yerlerde donanım ekleyin. OpenShell ücretsizdir ve zaten sahip olduğunuz CPU'larda çalışır, bu da başlamak için düşük maliyetli bir yol sağlar. Sentry gibi bant dışı uygulama yöntemlerini, kırmızı ekip çalışmaları, güvenlik araştırmaları ve düzenlenmiş verileri işleyen ajanlar da dahil olmak üzere en yüksek riskli işler için saklayın.
  • Sadece bireysel ajanları değil, kombinasyonları test edin. Daha büyük risk, her biri politikayı izleyen birkaç ajanın bir araya gelerek politikanın asla amaçlamadığı bir şey üretmesidir. Örneğin, bir ajanın bir kod deposunu okumasına ve diğerinin dışarıya göndermesine izin verilebilir; ikisi de kendi başına bir sorun değildir, ancak birlikte tescilli kodu sızdırabilirler. Tek tek görevleri değil, ajan gruplarının günlerce veya haftalarca birlikte çalışmasını test eden kırmızı ekip tatbikatları yürütün ve ajanların izinleri birleştirildiğinde neler yapabileceklerini matematiksel olarak kontrol eden resmi doğrulama araçları kullanın.
  • Sürüklenmeyi göz önünde bulundurun. Tek seferlik onay yeterli değildir. Ajanların neler yaptığını sürekli olarak kaydedin, orijinal niyetleriyle karşılaştırın ve incelemeyi veya otomatik karantinayı tetikleyen eşikler belirleyin.
  • Güvenlik ve yapay zeka ekiplerini bir araya getirin. Birçok şirkette, yapay zeka girişimleri veri bilimi veya iş birimi ekipleri aracılığıyla yürütülür ve güvenlik daha sonra inceleme yapar. Bu sıra ajanlar için işe yaramaz. Güvenlik mimarları, ajan iş akışlarını baştan tasarlamaya yardımcı olmalıdır.
  • Şeffaflık ve bağımsız değerlendirme talep edin. Açık yönetişime sahip ajan güvenlik araçlarını tercih edin ve model ve platform satıcılarından hangi bağımsız değerlendirmelerden geçtiklerini sorun. Bunu bir finansal denetim gibi ele alın.



Sonuç

Nvidia, güvenlik ortaklarıyla yürüttüğü çalışmaların yanı sıra BlueField ve Morpheus gibi ürünlerle hızlandırılmış bilişim ve yapay zekayı güvenlik alanına taşıyarak yıllardır siber güvenlik konusunda aktif bir rol oynamaktadır. Bu çalışmaların büyük bir kısmı perde arkasında yürütülmüştür. Sonuç olarak, güvenlik liderleri yapay zeka koruması konusunu ele alırken genellikle ilk akla gelen isim olarak Nvidia'yı düşünmemişlerdir. Ancak sorunların niteliği değiştiği için bu durum da değişiyor. Yapay zeka yalnızca soruları yanıtlayan modellerden ibaretken, güvenlik büyük ölçüde uygulama ve ağ katmanlarında sağlanabiliyordu. Oysa yapay zekanın dosya sistemleri, ağlar ve diğer aracılar (ajanlar) üzerinde makine hızında eylemler gerçekleştiren otonom aracılar anlamına geldiği bir ortamda, bu yaklaşım artık geçerliliğini yitirmiştir. Güvenliğin artık silikondan sistem yazılımına ve aracıların çalıştığı çalışma zamanı (runtime) ortamına kadar tüm teknoloji yığını genelinde tasarlanması gerekmektedir; Nvidia ise bu alanda derin bir deneyime sahiptir.

Bu lansmanın en ilgi çekici yönlerinden biri, Nvidia'nın güvenliği sadece bir başka ürün olarak değil, şirketin en güçlü olduğu alan olan bir sistem mühendisliği sorunu olarak ele almasıdır. Olasılıksal zekayı deterministik bir kontrol katmanından ayırmak, politikaları aracının dışında uygulamak, politikaları matematiksel olarak doğrulamak ve silikon düzeyinde bağımsız bir denetleyici mekanizma eklemek; tüm bunlar kopuk özellikler yığını değil, tutarlı bir mimari oluşturmaktadır. Ayrıca OpenShell'in açık kaynaklı olması ve platformun bir referans tasarım niteliği taşıması sayesinde, güvenlik satıcıları da dahil olmak üzere sektörün geri kalanı bu yapı üzerine kendi çözümlerini geliştirebilir.

Yapay zeka tartışmasına dair daha geniş kapsamlı bir husus daha var. Huang, korkuya dayalı öngörülerin sektöre bir fayda sağlamadığı konusunda haklı. Ancak felaket senaryolarına verilecek en iyi yanıt, bunları görmezden gelmek değildir; aksine, riskleri anladığımızı ve bunları kontrol edebileceğimizi kanıtlarla ortaya koymaktır. Sınırlarını aşan her bir aracı, sürecin yavaşlatılması gerektiği yönündeki argümanları güçlendirir; Nvidia'nın satın alımından önce yaşanan Hugging Face olayı buna bir örnektir. Buna karşılık, başarıyla kontrol altına alınan her bir hata ise ilerleme kaydedilmesi gerektiği yönündeki görüşü destekler. Güvenlik, yapay zekanın benimsenmesinin önünde bir engel değil, aksine benimsenmeyi mümkün kılan temel unsurdur. Şirketler gerçek iş süreçlerini güvenmedikleri aracılara emanet etmeyeceklerdir; dolayısıyla güvenin mühendislik yoluyla inşa edilmesi şarttır.

Nvidia'nın önünde hala yapılması gereken işler var. Şirketin performans verilerini yayınlaması, OpenShell'i tarafsız bir yönetişim yapısına devretmesi, diğer öncü laboratuvarları sürece dahil etmesi ve daha önce Nvidia'yı bir güvenlik sağlayıcısı olarak görmemiş güvenlik liderleri nezdinde kendini kabul ettirmesi gerekiyor. Ancak bugünkü lansmanla birlikte, şirket "ajan güvenliği"nden bahsetme aşamasından bu çözümü fiilen kullanıma sunma aşamasına geçti. Sektör, son üç yılını yapay zeka fabrikasını inşa ederek geçirdi. Önümüzdeki üç yıl ise bu yapının kendi başına güvenli bir şekilde çalışmasına izin verip veremeyeceğimizle ilgili olacak; Nvidia da bu sorunun yanıtında merkezi bir rol üstlenmiş durumda.


Görsel: Zeus Kerravala / Network World


Kaynak: Nvidia built the AI factory. Now it’s building the locks for the doors - Zeus Kerravala / Network World

.