Tom's Hardware: Jailbreak yapılmış PS4, 9 milyar parametreli bir yapay zeka modelini saniyede 43 tokene varan hızlarla çalıştırabiliyor.
Açık kaynaklı Garlic LLM, sürücüleri devre dışı bırakarak 2013 yılından kalma GPU ile doğrudan iletişim kuruyor.
Bunun için ne bir bilgisayara ne de internete ihtiyaç var; yalnızca GoldHEN yüklü bir konsol yeterli.
Görsel: PS4 / Sony
Geliştirici Leonardo Alegría’nın açık kaynaklı projesi Garlic LLM, jailbreak yapılmış bir PS4 üzerinde, 9 milyar parametreli Qwen3.5-9B yapay zeka modelinin, konsolun 2013 yılından kalma GPU’su kullanılarak çevrimdışı çalıştırılmasına olanak tanıyor. Uygulama, GPU ile doğrudan iletişim kuruyor; model ise konsolun belleğine sığması için yaklaşık 4,5 GiB boyutuna küçültülüyor ve saniyede 31 ila 39 token hızında çalışıyor.
GPU’nun doğrudan okuduğu bellek türünden (diğer bellek türü ise “Onion” olarak adlandırılıyor) ismini alan proje, açıklarından yararlanılmış konsollarda özel yazılımların (homebrew) çalıştırılmasını sağlayan GoldHEN yüklü bir PS4 gerektiriyor. Hugging Face üzerinden ücretsiz olarak indirilebilen ve 5,66 GB boyutunda tek bir dosyadan oluşan Garlic LLM, PS4’ün “Package Installer” (Paket Yükleyici) aracıyla kurulabiliyor. Kurulum için yaklaşık 6 GB boş alan gerekiyor; eğer kurulum paketi önce konsolun dahili diskine kopyalanacaksa, bu miktar 12 GB’a çıkıyor. Geliştirici, projeyi 11.52 sürüm yazılıma sahip standart/Slim model bir PS4 üzerinde test etti.
Görsel: Leonardo Alegría / Garlic LLM
Sistem, Chatterbox konuşma modeli ve saniyede yaklaşık 22 token (belirteç) hızında çalışan sohbet modeli aracılığıyla yedi dilde sesli karşılıklı konuşma yapabiliyor. Ayrıca, bir kontrolcü tuşuna basılı tutulduğunda, Nvidia’nın 25 Avrupa dilini destekleyen "Parakeet TDT 0.6B v3" konuşmadan metne dönüştürme modeli sayesinde dikte özelliği de kullanılabiliyor. Parakeet modelleri, Meetily ve Hex gibi yerel transkripsiyon ve dikte uygulamalarına da güç veriyor. Temel model olarak, Alibaba’nın açık ağırlıklı küçük modeli Qwen3.5-9B kullanılıyor. Metin sohbetinde saniyede 31 ila 39 token hıza ulaştığı iddia edilen bu model (istemi ve test yöntemi belirtilmemiş olsa da), konsol üzerinde çalışabiliyor.
Buna en yakın örnek, PS5 üzerinde yerel bir uygulama olarak çalışan ve RADV sürücüsünün bir uyarlaması olan "PS5_Vulkan" aracılığıyla konsolun AMD GPU'suna erişen "PS5LM" projesidir. Açık kaynaklı "llama.cpp", dil modellerini yerel olarak çalıştırmak için yaygın olarak kullanılan bir programdır; RADV ise AMD GPU'larının, grafik ve hesaplama API'si olan Vulkan'ı çalıştırmasını sağlayan açık kaynaklı bir sürücüdür. PS4 tarafında ise "homebrew" (kullanıcı yapımı yazılım) için böyle bir sürücü katmanı bulunmuyor; Garlic LLM ise görünüşe göre ne llama.cpp'yi ne de Vulkan uyarlamasını kullanıyor.
Modelin 4-bit ağırlıklar üzerindeki matris çarpımları gibi işlemleri, OpenCL C diliyle yazılmış ve AMD’nin "Graphics Core Next" (GCN) mimarisi için LLVM ile derlenmiş hesaplama çekirdekleri (compute kernels) tarafından gerçekleştiriliyor. Ağırlıklar "Garlic" belleğinde tutulurken; CPU tarafında, saf C diliyle yazılmış kısımlar tokenleştiriciyi (metni parçalara ayıran birim), arayüzü, metin oluşturmayı ve ses işlemlerini yönetiyor. İşlem hattı; istemin CPU tokenleştiricisine iletilmesiyle başlıyor; ardından her bir token için bir "PM4 komut arabelleği" (normalde bir grafik sürücüsünün oluşturacağı düşük seviyeli komutlar; bu durumda uygulama tarafından bizzat oluşturuluyor) ve GCN çekirdekleri devreye giriyor. Son aşamada ise token ekranda görüntüleniyor veya sesli olarak ifade ediliyor. Sistemin tamamı, açık kaynaklı OpenOrbis PS4 araç seti (toolchain) kullanılarak oluşturulmuştur.
Akla gelen ilk sorulardan biri, 9 milyar parametreli bir modelin, CPU ve GPU tarafından paylaşılan 8 GB'lık konsol belleğine nasıl sığdırıldığıdır. Ağırlık başına 8 bit kullanıldığında, her parametre bir bayt yer kaplar; bu da en az 9 GB'lık bir alan gerektirir (genellikle toplamda bundan daha fazlasına ihtiyaç duyulur). Çözümün bir parçası, ağırlıkları 4 bit ("Q4") formatında tutmaktır; bu, gereken alanı yarıya indirir. Ayrıca, her katmandaki en büyük iki matris için 3 bitlik ("Q3") ağırlıklar kullanılır (ölçeklendirme değerleriyle birlikte yaklaşık 3,5 bitlik bir yer kaplarlar).
Bu yöntemlerin birleşimi, toplam bellek kullanımını yaklaşık 4,5 GiB seviyesine çeker; eğer tamamı 4 bit olsaydı bu değer yaklaşık 4,9 GiB olurdu. "Attention" (dikkat) veya diğer adıyla KV önbelleği de 4 bit olarak tutulur; bu sayede, modelin yerel kapasitesi olan 256 bin (256K) token yerine 16 bin (16K) token'lık bir bağlam (context) belleğe sığdırılabilir. Parakeet dikte modeli 0,33 GiB, Chatterbox ses modelleri ise sırasıyla 0,29 GiB ve 0,09 GiB yer kaplar. Böylece toplamda 5,23 GiB (veya 5,62 GB) gibi bir değer elde edilir ki bu da 5,66 GB'lık paket boyutuyla oldukça uyumludur.
Bir diğer konu ise performans. Qwen3.5, çoklu belirteç tahmini (multi-token prediction - MTP) mekanizmasıyla gelir; Garlic LLM ise bunu kullanarak iki belirtece kadar önceden taslak oluşturur ve ardından tam model bu tahminleri doğrular. Bu yöntem, modelin eğitim süreciyle uyumludur; nitekim Alibaba’nın model kartındaki vLLM talimatlarında da iki tahmini belirteç (speculative token) kullanımı önerilmektedir. Proje ekibi, 2013 yılına ait donanımlarda elde edilen sohbet hızını bu mekanizmaya bağlıyor.
Bu kurulumla kod üretimi de hızlanarak saniyede 43 belirtece (token) kadar ulaşabiliyor. Ayrıca, modelin değişkenlik düzeyini belirleyen varsayılan "sıcaklık" (temperature) değerinin 0,7 olduğu belirtiliyor. Alibaba, "düşünme" (thinking) özelliği kapalıyken genel görevler için 0,7, açıkken ise 1,0 değerini öneriyor; ancak demo videosunda tahmin edilebilir sonuçlar almak adına 0 değeri kullanılmış. Bildirilen performans aralığının orta noktası olan saniyede 35 belirteç hızıyla, 300 belirteçlik bir yanıt dokuz saniyenin altında tamamlanabiliyor. Karşılaştırma yapmak gerekirse; PS5 üzerinde, Qwen3.5-27B (yaklaşık üç kat daha büyük) saniyede 20 belirteç hızında çalışırken, daha küçük modeller olan Gemma 4 E4B ve Llama 3.2 3B sırasıyla 61 ve 124 belirteç/saniye hızlarına ulaşabiliyor; yani bu modeller daha hızlı çalışabiliyor.
PS4 Pro henüz test edilmemiş durumda; geliştirici, kullanıcıların bu konudaki deneyimlerini GitHub üzerinden paylaşmalarını bekliyor. Uygulama, özel olarak PS4’ün GPU’su ve sistem yazılımı için geliştirildiğinden PS5 desteği bulunmuyor. Uygulamanın kendisi herhangi bir güvenlik açığı (exploit) içermiyor, ancak GoldHEN kurulumu tamamen kullanıcının kendi sorumluluğundadır.
K
aynak:Jailbroken PS4 runs 9-billion-parameter AI model at up to 43 tokens per second - Shane Downing / Tom's Hardware
.