Çok heyecanlısınız, neden mi? Çünkü DNA sonuçları açıklandı, annenizin dediği doğru çıktı Sam Altman sizin öz ve öz kardeşiniz. Sam iş hayatından yorulmuş ve modeli yıllar sonra tanıştığı kardeşine devretmeye kararlı. OpenAI tarafından Chatgpt modeli ve mimarisi size hediye edildi ve artık bu modeli size devrettiler. İlk başta bu haber size çok güzel ve heyecan verici gelecektir ve hemen sevdiklerinizi arayıp bu sevinci paylaşmak isteyeceksiniz. Sevinme hevesinizi aldıktan sonra OpenAI ile sözleştiğiniz gibi size gelip modeli ve mimariyi büyük boyutlu bir ssd ile teslim ettiler. Heyecanla bilgisayarınıza koşuyorsunuz çünkü amacınız dünyaya hizmet etmek ve milyarlarca dolar kazanmak Bilgisayarınıza ssd yi taktınız ve karşınıza modeli 2 tıkla çalıştırabileceğiniz mühemmel bir .exe uzantılı dosya çıkmasını ümit ediyorsunuz... Fakat hayallerinizin suya düşmesi çok uzun sürmedi, karşınızda boyutu terabaytları bulan tensör ağırlık dosyaları ve birçok .json dosyası çıktı... Dosyalarla uzun bir süre bakışma ve dertleşme aşamasından sonra gözünüzün önüne deste deste dolarlar gelir ve aynı kararlılıkla bu dosyaların icabına bakmaya karar verirsiniz. İşe bu dosyaları uygun şekilde okumak ve modeli aktif hale getirmekle başlayacaksınız ve uygun kod bloklarını alabilmek ve birazda bilgi edinebilmek için tarayıcınızdan ChatGPT'ye girmeye çalıştınız fakat model sizde olduğu için Gemini ile işi çözmeye karar verdiniz (Üstelik PRO modeli de 1 yıllık olarak satın alıyorsunuz çünkü bu iş artık ciddi).
Gemini ile biraz cebelleştikten sonra modelin sizde olduğu konusunda kendisini ikna edebildiniz, size bu işin üstesinden gelemeyeceğinizi belirtmesine rağmen Python ile her işi çözebileceğinize olan güveninizle, yeni bir proje klasörü oluşturup adını da "ChatGPT" koydunuz. Artık gözleriniz eskisine kıyasla çok daha kararlı bakışlar atıyor. Gemini'den gerekli kod bloklarını aldıktan sonra modeli yüklemek için gereklü kütüphaneleri indiriyorsun, fanlarında hızlandı ve sesi de seni gayet tatmin ediyor. Her şey yolunda gibi görünüyor, arkana yaslandın ve gururlu bir bakış atıp birazda sırıtıyorsun Derken paketler yüklendi ve kod bloklarını çalıştırmaya başladın, kasandaki fan sesleri daha da şiddetlendi. Sonuçta bir ChatGPT çalıştırmak kolay olmasa gerek diye düşünüp aldırış etmedin. Ve o da ne? "RuntimeError: CUDA out of memory". Herhalde ekran kartımdan bahsetmiyor diye düşündün çünkü ekran kartın 24GB ve arkadaşlarının oynayamadığı oyunları dahi rahatça oynayabiliyorsun, ona olan güvenin tam zaten bu işi yapmasını beklediğin bileşende o kartın tam kendisi. Gemini ile biraz küfürleştikten ve kartınızı savunduktan sonra, edindiğin bilgiye göre sadece modeli yükleyebilmek için elindeki karttan 85 tane daha gerekiyor... Fan sesleri artık umut verici bir sisten ziyade çaresizlik uğultusu gibi...
Gözünle şeffaf kasa içerisindeki ekran kartına bakıyorsun, tüm heybeti ve güzelliğiyle orada duruyor. RGB ışıkları yanıyor ve fanları da dönüyor, sanki "Ben Hazırım Gönder" diye sesleniyor size. Sizi kandırmayı başarıyorda... Tekrar deniyorsunuz ve yine aynı hata... Gemini ile tekrar sert bir muhabbet sonrası modeli sadece VRAM'e yüklemek için yaklaşık 2TB büyüklüğünde video belleğinizin olması gerektiğinizi öğreniyorsunuz. Kabaca bir hesap yapıyorsunuz ve bu yaklaşık 26 adet H100 demek. Dededen kalma tarlanızı ve aile eviniz ile arabanızı da hesapladıktan sonra yaklaşık olarak 15 milyon TL'lık büyük bir yatırım yapmaya hazırsınız. Piyasaya hızlı bir giriş yapacaksınız ama yine hevesiniz kısa sürede kırılacak çünkü o da ne? Bir tane H100 nasıl 1.5 milyon TL olabilir? Sadece model yüklenimi için yaklaşık 40 milyon TL'na ihtiyacınız var... Hedefinizi küçültüyorsunuz amacınız sadece İstanbul'da çalışacak bir model olması, gerekirse eşinizin düğün altınlarını dahi bozduracaksınız. Yaptığınız hesaplamalar neticesinde yaklaşık 50 adet H100 ve sunucu, network, rack, soğutma derken gereken tutar minimum 100 milyon TL.
Aklınıza Eminönü'nde yıllardır bilişimci dükkanı işleten Engin abiniz geldi. Hemen kendisini arayıp konuyu aktardınız. Engin abinize güveniniz tam çünkü yıllardır teknoloji sektöründe ve mühendislerin çoğuna taş çıkartır diye düşündünüz. Engin abiniz telefonda bir süre hım... hom... dedikten sonra veriyi flaş disklere bölerek küçültmeniz gerektiğinden bahsederken telefonu o an kapattınız. Bu işin üstesinden gelemeyeceğinizi kabullendiğiniz ana geldiniz. Yapacak tek bir şey kalmıştı, geçen ay satın aldığınız ChatGPT yıllık pro üyeliğinizi kurtarmak. hemen OpenAI'ı arayıp bu nazik hediyeleri için teşekkür ettiniz. Çok alçakgönüllü bir insan olduğunuzu, bu hediyeyi kabul edemeyeceğinizi ve şükretmenin önemiyle ilgili şirkete verdiğiniz tavsiyelerden sonra modeli onlara tekrar teslim ettiniz.
Beğeniyi ve yorumlarınızı eksik etmeyin lütfen. Saygılar ve hürmetler
