Yerel yapay zeka hakkında

Merhaba macbook m5 pro 48 gb bilgisayarım var sanırım bunun içinde yapay zeka vs çalışıyormuş. İstediğim şu ben bir konuda web site yapıyorum. Bilgisayarda bir yapay zeka çalıştırmak istiyorum. Bu web sitesi içeriği hakkında tecrübem, bilgim ve kimsenin bilmediği konuları anlatarak detaylı bir şekilde eğitmek istiyorum. Yani bana şu yazıyı yaz dediğim zaman nette araştırarak veri çıkarmak hoşuma gitmiyor.

Claude ile makale yazarken o konu hakkında bildiğim ne kadar detay incelik varsa herşeyi en detayına kadar anlatıp benim anlatım tarzım bu ve buna göre nettende bilgi çıkar diyerek makaleler yazıyorum. Bu yazılar hep googleda ilk sayfaya geliyor çünkü bu kadar detayına kadar anlatan yer olmuyor. Fakat her seferinde oturup anlatacağıma bir konuda güzelce eğitip daha sonra başka bir başlık versem bile bana

Bak bunuda demişsin bu yazıya bunuda ekleyebiliriz gibi bilgi veren bir arayış içerisindeyim.

m5 pro da o işi yapmak pek mantıklı değil hocam pc ye yazık

Eğitmek için yetmez. Çok uzun sürer. Başarılsa bile istenileni veremez.

Ben makale yazarsak inanılmaz fayda görüyorum böyle çünkü bazen 2-3 sayfa bildiklerimi anlatıp daha sonra görseller verip destekleyip nettende araştırıp yazdırıyorum direk ana sayfaya geliyor yazı ondan dolayı sürekli anlatmaktansa hepsi hafızasında kalsın istiyordum.

O zaman bu o tür bir eğitmek değil. Bu mümkün.

Hocam burada bir terim karışıklığı var ve o yüzden size "olmaz" deniyor. Tarif ettiğiniz şey aslında model eğitmek değil. İkisi çok farklı işler:


Eğitmek (fine-tuning): modele üslup ve biçim öğretir. "Şu tarzda yaz, şu formatta çıktı ver" gibi. Bunun için binlerce örnek gerekir, pahalıdır ve en önemlisi bilgiyi güvenilir şekilde saklamaz. Öğrettiğiniz bir detayı sorduğunuzda hatırlaması garanti değildir, uydurabilir de. Üstelik her yeni bilgi eklemek istediğinizde baştan eğitmeniz gerekir. Yani "phpc" hocamın dediği doğru ama sebebi farklı: yetmediği için değil, yanlış araç olduğu için olmaz.


Sizin istediğiniz şey hafıza + arama (RAG). Bilgileriniz bir kenarda duruyor, siz yeni bir başlık verdiğinizde sistem o arşivde arama yapıp konuyla ilgili olan parçaları bulup modelin önüne koyuyor. "Bak bunu da demiştin, buraya da ekleyebiliriz" davranışı tam olarak budur. Eğitim değil, arşiv + arama.


En basit çözüm, kod yazmadan:
Zaten Claude kullanıyorsunuz. Claude'un Projects özelliği tam bu iş için var. Bir proje açıp bilgi dosyalarınızı içine koyuyorsunuz; o projedeki her sohbet o dosyalara erişiyor. Yani birikiminizi bir kere yazıyorsunuz, sonraki her makalede orada duruyor.
Pratik yöntem: her seferinde yazdığınız o 2-3 sayfalık anlatımları çöpe atmayın. Konu başlığına göre ayrı dosyalara kaydedin (kargo-surecleri.md, musteri-itirazlari.md gibi). Zamanla bu sizin asıl sermayeniz olur. Düz metin/markdown tutun ki yarın başka bir araca geçerseniz taşıyabilesiniz.


Tamamen yerelde çalıştırmak isterseniz:
Donanımınız bu iş için yetersiz değil, tam tersine iyi. 48 GB birleşik bellek, 30B sınıfı modelleri sıkıştırılmış hâlde rahat çalıştırır. Kurulum için LM Studio veya Ollama, üstüne belge arşivi için AnythingLLM ya da Open WebUI yeterli ikisi de arayüzden dosya yükleyip arama yapmanızı sağlıyor, kod gerekmiyor.


Ama size dürüst olayım, asıl önemli kısım bu:
Yazılarınızın ilk sayfaya çıkma sebebi iki şeyin birleşimi sizin kimsenin bilmediği bilginiz ve onu iyi yazan güçlü bir model. Yerel açık modeller Türkçe uzun metinde Claude/GPT seviyesinde değil, aradaki fark küçük de değil. Hafıza kazanayım diye zayıf bir modele geçerseniz, sizi ilk sayfaya çıkaran yazım kalitesini kaybedebilirsiniz. Kârlı bir takas olmaz.


Benim önerim: güçlü modeli bırakmayın, üstüne hafızayı ekleyin. Yerele geçmek ancak gizlilik zorunluluğunuz varsa veya maliyet ciddi şekilde sorun olduysa mantıklı.
Biz de kendi ürünümüzde bunun aynısını kurduk (kendi dokümanlarımız üzerinde arama yapan bir asistan) en çok işe yarayan şey model seçimi değil, arşivi düzenli tutmak oldu. Dağınık arşivde arama iyi sonuç bulamıyor, model ne kadar iyi olursa olsun.
Kolay gelsin.

kişiselleştirme - hafıza.