Hocam burada bir terim karışıklığı var ve o yüzden size "olmaz" deniyor. Tarif ettiğiniz şey aslında model eğitmek değil. İkisi çok farklı işler:
Eğitmek (fine-tuning): modele üslup ve biçim öğretir. "Şu tarzda yaz, şu formatta çıktı ver" gibi. Bunun için binlerce örnek gerekir, pahalıdır ve en önemlisi bilgiyi güvenilir şekilde saklamaz. Öğrettiğiniz bir detayı sorduğunuzda hatırlaması garanti değildir, uydurabilir de. Üstelik her yeni bilgi eklemek istediğinizde baştan eğitmeniz gerekir. Yani "phpc" hocamın dediği doğru ama sebebi farklı: yetmediği için değil, yanlış araç olduğu için olmaz.
Sizin istediğiniz şey hafıza + arama (RAG). Bilgileriniz bir kenarda duruyor, siz yeni bir başlık verdiğinizde sistem o arşivde arama yapıp konuyla ilgili olan parçaları bulup modelin önüne koyuyor. "Bak bunu da demiştin, buraya da ekleyebiliriz" davranışı tam olarak budur. Eğitim değil, arşiv + arama.
En basit çözüm, kod yazmadan:
Zaten Claude kullanıyorsunuz. Claude'un Projects özelliği tam bu iş için var. Bir proje açıp bilgi dosyalarınızı içine koyuyorsunuz; o projedeki her sohbet o dosyalara erişiyor. Yani birikiminizi bir kere yazıyorsunuz, sonraki her makalede orada duruyor.
Pratik yöntem: her seferinde yazdığınız o 2-3 sayfalık anlatımları çöpe atmayın. Konu başlığına göre ayrı dosyalara kaydedin (kargo-surecleri.md, musteri-itirazlari.md gibi). Zamanla bu sizin asıl sermayeniz olur. Düz metin/markdown tutun ki yarın başka bir araca geçerseniz taşıyabilesiniz.
Tamamen yerelde çalıştırmak isterseniz:
Donanımınız bu iş için yetersiz değil, tam tersine iyi. 48 GB birleşik bellek, 30B sınıfı modelleri sıkıştırılmış hâlde rahat çalıştırır. Kurulum için LM Studio veya Ollama, üstüne belge arşivi için AnythingLLM ya da Open WebUI yeterli ikisi de arayüzden dosya yükleyip arama yapmanızı sağlıyor, kod gerekmiyor.
Ama size dürüst olayım, asıl önemli kısım bu:
Yazılarınızın ilk sayfaya çıkma sebebi iki şeyin birleşimi sizin kimsenin bilmediği bilginiz ve onu iyi yazan güçlü bir model. Yerel açık modeller Türkçe uzun metinde Claude/GPT seviyesinde değil, aradaki fark küçük de değil. Hafıza kazanayım diye zayıf bir modele geçerseniz, sizi ilk sayfaya çıkaran yazım kalitesini kaybedebilirsiniz. Kârlı bir takas olmaz.
Benim önerim: güçlü modeli bırakmayın, üstüne hafızayı ekleyin. Yerele geçmek ancak gizlilik zorunluluğunuz varsa veya maliyet ciddi şekilde sorun olduysa mantıklı.
Biz de kendi ürünümüzde bunun aynısını kurduk (kendi dokümanlarımız üzerinde arama yapan bir asistan) en çok işe yarayan şey model seçimi değil, arşivi düzenli tutmak oldu. Dağınık arşivde arama iyi sonuç bulamıyor, model ne kadar iyi olursa olsun.
Kolay gelsin.