Aslında hiç devlet sırrı değil. Ya çok bütçeniz vardır $50k-$60k bedeli olan kartları yan yana dizersiniz, ya da mantık çerçevesinde yapabileceğiniz en akıllı yatırıma yönelirsiniz: Mac Studio. Size 100 gb üzerinde VRAM veren bir yapı zaten başlı başına aldığı bedeli hak eder. Bu da sizin token üretim konusundaki sıkıntınız. Token üretimi CPU+RAM şeklindeyse, 1-4t/s gibi üretim hızınır olur. Ancak, VRAM'e tüm modeli koyup, CPU ve RAM'i ana hedef olmaktan çıkarırsanız, yazım hızınız 1-4t/s'den 70t/s gibi üst seviyelere rahatlıkla çıkabilir. Bu elbette alacağınız ürünün teknik yeterliliği ile ilişkili bir mesele.
Mac Studio'nun 80'lik GPU modelini aldınız, sıra model seçmede.
Qwen 3.8 en güzel offline, çok akıllı olmayan ve hızlı ihtiyaç giderebilen modelerden biri.
GLM 5.3, Qwen'e göre biraz daha akıllıdır ama mimar değildir.
DeepSeek v4 Pro kimilerinin tercihi ama benim çok tercih ettiğim bir model değil.
Bu üç model de hatalarla dolu. Yani, mimari yapsın diyorsanız, çok uzun yol gitmeniz gerek ya da API ile Cloud modelden mimari yazdırıp, sonra offline modelde devam etmeniz gerek. Cloud modellerin ücretsiz sınırlı kullanım olanakları var. Bunlarla sınırlı kullanımı yapıp ihtiyacınızı karşılarsınız, sonra kod kısmında offline a geçersiniz.
ÖNEMLİ: VRAM boyutunuza göre model seçiyorsunuz. Yani, eğer 8 gb ekran kartınız varsan, Qwen 3.8 27b çalıştırmak isterseniz, hem GUFF olmak zorunda olur hem de Ram+CPU olur, haliyle o ekran kartı ile hiçbir şey olmaz. Ancak, 24 gb ekran kartınız vardır, daha esnek olursunuz. 60 gb üstü vardır, sıkıştırma yapmadan tüm modeli koyabilir hale gelirsiniz. Mac Studiolarda 192 gb VRAM yapabiliyorsunuz ve bunu unified olarak 512 gb a çıkarabiliyorsunuz. Bunun normal hardware karşılığı malesef tonla yatırım gerektiriyor. 8 yıl önce çıkan $2000 değeri olan grafik kartları şu anda $5500 civarından gidiyor. Haliyle, konu aslında grafik kartına bakıyor.
Yapay zeka modeli olarak:
Hem OpenAI hem de Claude iyi bir mimari yaratabilir ancak asla kusursuz olamaz ve tekrar tekrar yapacak iş çıkarır. Çoğu durumda kendi yaptığı işi tekrar tekrar düzeltmek zorunda kalır ve bunu yaparken size asla bilgi vermez. Sizden aldığı cümleyi inceler ve aradan kaptığı bir kelimeye göre bir sonuca gider. Sonuçta yapay zeka dediğiniz, mesaj kutularının belli değerleri çektiği bir akıllı havuz sisteminden ibaret. Haliyle, prompt içerisinde geçen tek bir kelime, bazen tüm projeye yönlendirme yapabilir. Onu bir insan gibi düşünmeyin. Tamamen makine dili konuşuyorsunuz.
GLM; Qwen, DeepSeek, Kimi gibi modellere göre bir tık daha iyi. Qwen tamamen programlama odaklı, Kimi mimari açıdan Flagship modellere kafa tutabilir, yani OpenAI ve Claude alternatifi. DeepSeek sadece coding kısmında olabilir. Farkındaysanız hiç Geminiden bahsetmedim. Merak etmeyin, Google'da bahsetmiyor. En basitinden Pro Extended model ile Flash model arasındaki zeka farkı, Profesör ile yeni doğmuş bir bebek arasındaki bilgi farkına benziyor.
Deneyimler kişiseldir. Farklı insanlar farklı sonuçlara gitmiş olabilir. Benim gözlemlemem bu şekilde.
dün bir konuda bende gemini'nin nasıl bir aldatmaca olduğundan bahsetmiştim, onu tamamen google cloud api ekosistemini güçlendirmek için öğrenme ve veri işleme amacıyla hizmette tutuyorlar. donanım konusuna gelirsek, açıkçası yüksek gpu ile ram gereksinimi ve ham madde, üretim ve ai modellerinin beslenmesi için stokların hızlı erimesi sebebiyle gerçekten maliyetli. bunu nasıl aşarım diye biraz düşündükten sonra, klasik x86 mimarisinden uzaklaşırsam en azından cpu da maliyeti düşürebilirim diyerek şöyle bir sistem toparlamayı planladım:
Milk-V Pioneer
Gigabyte Gıgabyte Radeon Rx 7600 Xt Gamıng Oc 16G Gddr6 128BIT Fsr 3 Amd Ekran Kartı
Kingston Kc3000 2TB 7000MB-7000MB SSD
Asus Prıme 850W Gold Psu
ASUS Dual RX 7700 XT 12GB
x4 Kingston 32 GB DDR4 UDIMM 3200 MHz
ama pioneer'ın küresel pazarda şuan tedarik edilebilir bir stoğu yok. bu da beni alternatiflere yöneltti ve daha ucuz bir sistem toplamak durumunda kaldım, kıyaslandığında giriş seviyesinde kalıyor
HiFive Premier P550 – HF106 32GB
Gigabyte Gıgabyte Radeon Rx 7600 Xt Gamıng Oc 16G Gddr6 128BIT Fsr 3 Amd Ekran Kartı
Kingston Kc3000 2TB 7000MB-7000MB SSD
Asus Prıme 850W Gold Psu
Gıgabyte Radeon Rx 7600 Xt
primier p550'i satın alabiliyorum ama gümrükten geçtği anda 2 tanede devlete hediye etmem gerekiyor. birden masrafım katlanıyor, zaten amacım ucuz yollu bir ekipman edinmekken astarı yüzünden pahalıya geliyor. hazır sizi yakalamışken hem teorik hem teknik bilginizden faydalanmak istedim. tails mantığı ile çalışıyor olmanız, özellikle hevesle sormama sebep oldu. çünkü bu konuda düşünseydim (ki aklıma dahi gelmedi) sanal makine veya sandbox mantığı üzerinden ilerlemeyi düşünürdüm. yerelde ne yapacağıma gelirsem, açıkçası yazılım geliştirmeye pekte hevesli değilim, basit araçlardan öteye geçmez bu yönde bir kariyer yaparsam. asıl amacım nitelikli yazarlık ve görsel üretim üzerine, daha iyi ekipmanlara sahip olursam da animasyon üzerine. donanım konusuna dönersek, seçtiğim işlemciler bilindik rakiplerinin emsal modellerine kıyasla çok daha düşüp tdp'ye ihtiyaç duyduğu için uzun vadede elektrik giderinden kazanç elde etmemi sağlayacaktı. türkiye de elektrik tüketimi de aslında tek başına ciddi bir gider kalemi. öte yandan maliyet açısından ilk alımda daha düşük bedeller ödeyecektim. yani sır değil dediğiniz şey en iyi ekipmanları almaksa, tabi ki sır değil ama kısıtlı kaynakla ne kadar fayda sağlayabilirsin, işte o gerçekten sır sayılabilir. mesela, şu kadar parayla böyle bir sistem toplarsın ama iş yapmaz, onun yerine ddr3 üzerinden ilerlersen ram zamlarından daha az etkilendiği için eski nesil ama en azından iş yapabilecek bir sistemi ayağa kaldırabilirsin gibi tavsiyelerde bulunacağınızı ön görmüştüm. 192 gb vram alabilsem, zaten sizin zamanınızı dahi çalmam.