Test sonuçlarına bakıldığında Gemini Ultra gerçekten çok güçlü ancak GPT-4'ü geçmekten çok uzak, ancak Open AI dışında diğer şirketlerin de GPT-4'e eşdeğer LLM modellerini eğitebildiğini kanıtlıyor.
Artık Bard ile İngilizce konuşurken Gemini Pro modelini kullanabilirsiniz ve Gemini Nano, Pixel 8 Pro'nun Kaydedici özet özelliği ve klavye ilişkilendirmesinde de etkinleştirilmiştir.
Özel tanıtıma bir göz atalım:
- Gemini çok modludur, yani metin, kod, ses, görüntü ve video dahil olmak üzere farklı bilgi türlerini anlayabilir, işleyebilir ve birleştirebilir.
- Aynı zamanda esnektir ve veri merkezlerinden mobil cihazlara kadar çeşitli ortamlarda verimli bir şekilde çalışabilir. Gemini'nin ilk sürümü olan Gemini 1.0, üç farklı boyut için optimize edilmiştir: Oldukça karmaşık görevler için Gemini Ultra, geniş bir görev yelpazesi için Gemini Pro ve cihaz üzeri görevler için Gemini Nano.
- Gemini Ultra, büyük dil modellerinin araştırılması ve geliştirilmesi için kullanılan, yaygın olarak kullanılan 32 akademik kriterden 30'unda mevcut en son teknoloji sonuçlarını geride bırakıyor. Matematik, fizik, tarih, hukuk, tıp ve etik yeteneği gibi 57 konuda dünya bilgisini ve problem çözmeyi test eden MMLU (Massive Multi-Task Language Understanding) konusunda insan uzmanlarından daha iyi performans gösteren ilk modeldir.
- Gemini 1.0, metinleri, görüntüleri, sesleri ve daha fazlasını aynı anda tanıyıp anlayacak şekilde eğitilmiştir; bu da onu matematik ve fizik gibi karmaşık konulardaki akıl yürütmeyi açıklamada mükemmel kılar. Ayrıca Python, Java, C++ ve Go gibi popüler programlama dillerindeki yüksek kaliteli kodları anlar, yorumlar ve üretir.
- Google, Gemini 1.0'ı AI için optimize edilmiş altyapısını ve kendi tasarladığı Tensör İşleme Birimleri (TPU'lar) v4 ve v5e'yi kullanarak eğitti. Şirket ayrıca, son teknoloji yapay zeka modellerini eğitmek için tasarlanmış, bugüne kadarki en güçlü, verimli ve ölçeklenebilir TPU sistemi olan Cloud TPU v5p'yi de duyurdu.
- Gemini 1.0 artık çeşitli ürün ve platformlarda kullanıma sunuluyor. Bard ve Pixel gibi Google ürünlerinde mevcut olacak ve geliştiriciler ve kurumsal müşteriler Gemini Pro'ya 13 Aralık'tan itibaren Google AI Studio veya Google Cloud Vertex AI'daki Gemini API aracılığıyla erişebilecekler. Android geliştiricileri ayrıca Pixel 8 Pro cihazlardan itibaren kullanıma sunulacak olan AICore aracılığıyla Android 14'te Gemini Nano ile geliştirme yapabilecek.
(1) Veri kaynaklarının çeşitlendirilmesi : Eğitim öncesi verileri mümkün olduğunca farklı kaynaklardan (İnternet, kitap, kod vb.) elde etmeliyiz. Sadece metin değil, farklı formlardaki (resim, ses, video gibi), farklı dillerdeki ve farklı alanlardaki (programlama gibi) verileri de eğitim öncesi sürece entegre etmeyi düşünmemiz gerekiyor.
(2) Tokenizer seçimine dikkat edin : Birçok geliştirici bunun yeterli olduğunu düşünerek hazır, önceden eğitilmiş Tokenizerleri doğrudan kullanmaya alışkındır. Ama durum böyle değil! Tokenizasyon sorunları, model performansını etkileyen bir dizi sonraki soruna yol açabilir. En iyi sonuçları elde etmek için, kendi Tokenizer'ımızı önceden eğitilmiş veri kümesi üzerinde özelleştirmeli ve modelin işleyeceği veri türüne uyarlandığından emin olmalıyız. İkizler tam olarak bu yaklaşımı benimsiyor.
(3) Veri temizliği çok önemlidir : Büyük dil modeli (LLM) ön eğitiminin işlenmesine yönelik veri hattı, buluşsal kurallar, model tabanlı çözümler, güvenlik/zararlı içerik filtreleme vb. dahil olmak üzere çok karmaşıktır. Önceki araştırmalar (Falcon LLM'ler gibi) eğitim öncesi verileri filtrelemek için basit kuralların kullanımını vurguladı, ancak Gemini eğitim öncesi veri hattında daha fazla hile yapıyor ve mümkün olan en saf eğitim öncesi veri setini oluşturmaya çalışıyor.
(4) Chinchilla'dan Dersler : Chinchilla'nın Mart 2022'deki araştırma bulguları bugün hala geçerlidir. Mükemmel önceden eğitilmiş büyük dil modelleri, çok sayıda parametre ve büyük miktarda veri gerektirir. Kısacası, pek çok büyük dil modeli aslında yeterince eğitilmemiştir! Kendimizi hesaplama maliyetlerine sokmadığımız sürece, mümkün olan her durumda ön eğitim için mevcut tüm verileri kullanmalıyız.
(5) Veri ağırlıklandırma önemlidir : Veri karıştırmanın yanı sıra, her bir eğitim öncesi veri kaynağından (yani veri ağırlığı) veri örnekleme sıklığımız da kritik öneme sahiptir. Optimum veri ağırlıklarını bulmak için daha küçük modeller ve veri kümeleriyle ayarlama deneyleri yapmalıyız. İlginç bir şekilde Gemini araştırmacıları, eğitim sırasında veri ağırlıklarını ayarlamanın (örneğin, daha sonra eğitimde alana özgü verilerin ağırlığını artırmak) da faydalı olabileceğini buldu.
