Local tabanlı agent yazmak

Arkadaşlar merhabalar,
Aranızda daha önce belirli görevleri yerine getirmek üzere local (yerel) çalışan yapay zekâ agent geliştiren oldu mu?
Özellikle Ollama, Llama, Qwen vb. local LLM’ler kullanarak; veri okuyabilen, analiz yapabilen, gerektiğinde SQL sorguları çalıştırabilen veya farklı sistemlerle etkileşime girebilen agent yapılarıyla ilgileniyorum.
Bu konuda deneyimi olan arkadaşlar;

• Hangi model ve teknolojileri kullandınız?
• Agent mimarinizi nasıl kurguladınız?
• Tool/function calling tarafında nasıl bir yapı kullandınız?
• Performans ve model doğruluğu konusunda ne gibi problemler yaşadınız?
• Local çalışmanın avantajları/dezavantajları neler oldu?

Tecrübelerinizi ve mümkünse kullandığınız teknolojileri paylaşabilirseniz çok faydalı olur.
Şimdiden teşekkürler.

• Local çalışmanın avantajları/dezavantajları neler oldu?

localde model çalıştırmak çok pahalı donanım maliyeti olarak söylüyorum bu işin en ucuz yolu api kullanmakta değil cli üzerinden çalışa bilen uygulamalar üretmek birden çok agent ile bir yönetim kurmak ve çalıştırmak

ufak modeller bir işe yaramaz doğru düzgün sohbet edersin anca

Çok kapsamlı bir harness dahi kursan şuanda ciddi bir sistemin yoksa çalıştırabileceğin 70-80 milyar parametreli modellerde dahi vaow olamayacaksın. Amiral gemisi modeller dahi halisünasyon sebepleriyle tonlarca hata yapıyorken yerel model ne halde düşün güncel qwen 3.8 kullanıyorum ama kesinlikle claude ile entegre şekilde yoksa hata kaçınılmaz sadece çok basit ve tekrarlı işleri yapabilecek kapasite var sanıyorum.

@slymntgyn;
localde pro mantığında kullanabileceğin GPU , A6000 Blackwell. onunda ram'i 96GB. Kullanabileceğin model genel olarak 70B modeller. 70B'nin her serisi değil.
Ayrıca o GPU için 9950x bile yeterli performansı sağlayamıyor. L3 de sorunlar yaşanır. Tercihen Epik/Xeon işlemciler gerekli.

Localde AI Asistan projesi için ve hala da Ollama çalışıyor bilgisayarımda. (devam etmedim). 3k context benim gpu yapım için ideal. Mutlaka Tuning yapman ve uzun senaryolar ile kontrol etmen gerek.
Youtube da bugün bile çok seyredilen birisi paylaşım yapmış.
Maalesef o videolara inanmayın.
Çalışmaz demiyorum. İstediğiniz sn deki token limitini alamayacağınız gibi, uzmanlık konusunda biraz yavan kalacak.
Ülkemiz için 5070Ti ile kullanabileceğiniz bir llm modeli yatırım bedeline online bir modelin Pro serisini kullanarak karlı bir proje üretebilirsiniz. Ve kazancınız ile de bu süreç devam eder. Ne zamana kadar ? RAM - GPU ve LLM mimarisinde yeni teknoloji geliştirilene kadar. Mevcut LLM modelleri CUDA ile geliştirildiği için maalesef orada bir çıkmaz var.

AMD Halo serisi işlemciler ile çok güzel planlar yapsa bile, Datacenter kar oranları çok iyi olması sebebi ile son kullanıcı dediğimiz gruba çalışmaları yavaş kalıyor. Madusa Halo 595 için teorik tanımları oldukça iyi olsa bile şuan piyasada sanırım 475 var.

Çok övülen Qwen 27B modeli de belirli yere kadar uzmanlığı var. bit sayısına göre de genelde 24GB GPU ister. Ram olarak da 48 den aşağı olmaması işlemcide de 12 tekil çekirdek , Gen5 anakart mantıklı olur.

Proje geliştirirken bir modele de sadık kalmayın. Birçok arkadaşımız model değiştirdiklerinden ve farklı kullanım senaryoları anlatıyor. Hepsinde ortak konu ise, bir yerde mutlaka llm in eşrek saati mutlaka çıkıyor.
Claude'un bana bir yorumu var.
Tek bir llm ile kodlama yaptın. Analizi mutlaka farklı llm modeline yaptır. Revizyonun değerlendirmesini başkasına yaptır.

Birçok arkadaşımız kodlama ile analizi aynı chat içinde yaptırıyor. Ve ardışık yaptırıyor. Mevcut context bağında eski ezberleri duruyor ve server cache'de aynı sorgular var.
Şahsen Opencode gibi limitli de olsa çoklu llm modeli destekleyen bir API herkese lazım. Uzun soluklu projeler için Opencode Zen limitleri de mantıklı değil. Kullandığım için biliyorum. Ama bu tür bir agent el altında olması faydalı olur.

Ben daha çok DeepSeek Flash kullanıyorum. Peak saatlerinde kullanmıyorum. Dolayısı ile birim maliyet düşüyor. Benzer işi yapabilirsen GLM içinde yapabilirsiniz.
Malum ençok GPT/Codex satışı yapan arkadaşımızdan sorgu sayısına göre limitler alabilirsiniz. Veya farklı modelleri günlük verenlerden de faydalana bilirsiniz. Yeterki tek modele sadık kalmayın.

En önemlisi yapmak istediğiniz işin tüm basamaklarını bilmeniz gerek.
Planlama - faz yapılarını oluşturmanız. bu konuda da tek llm e sabit kalmayın. Claude birçok konuda cidden güzel mimari hazırlıyor. Ama çoğunlukla da kendi hatalarını görmüyor. Onun sonuçlarını başkasına analizi sonucunda, yeni çözümleri mükemmel olabiliyor. Bunu tekrarlı şekilde yaptırmak gerekiyor.
Server'larda cache bellek var. Birçok cevap oradan gelir. bazen de hatalı cevap gelebiliyor. Siz kendi kullandığınız agent da mutlaka context'i koparmayı unutmayın.
Ve her agent için çok güzel pluginler var. Memory - GUI Test - SuperPowers gibi.

Localdeki en iyi llm ile basit işler yaptırsanız - güzel sonuçlar alsanız bile, doğruluğu veya mükemmelliği soru işareti.
Pluginler ile destekleyebilirsiniz. Skiller ile kolaylıkalr sağlayabilirsiniz. Başkalarının hazırladığı yapılardan faydalanabilirsiniz.

Local LLM için en ideal yapı AI Asistan projesinde kısa süreli basit destek amaçlıdır. Boş denecek bir LLM alıp, kendi eğitiminizi yaptırmak isterseniz deneyebilirsiniz. Uzun zaman önce google'ın serverlarında limitli özelliklerini denemiş idim. Bugün nasıl yapıldığını bile hatırlamıyorum.

LLM ler ile bolca sohbet edin. Mutlaka önerdiklerini sorgulayın. Ve kendisine önerisinin risk analizini sorun. Bilmediğiniz - farkında olmadığınız bir teknoloji veya metodu önerdiğinde kısaca açıklamasını isteyip deperlendirmeyi siz yapın. Çok absürdük öneri sunabiliyorlar. Farklı online free modellerden aynı soruyu sorgulayın. Ve cevapları çaprazlayın.

Başarılar

Cevaplar için teşekkürler, hepsi kıymetli. Konuyu açarken kendi tarafımı yazmamıştım, onu da ekleyeyim; benzer işi yapacaklara faydası olur.

Kurumsal bir ERP/üretim ortamında iki agent üzerinde çalışıyorum: biri veri sohbeti (kullanıcı Türkçe soruyor, arkada sorgu üretilip çalıştırılıyor, sonuç yorumlanıyor), diğeri planlama tarafında emniyet stoğu ve min lot önerisi üreten bir agent. Geldiğim yerler şöyle:

1) Local tercihinin sebebi maliyet değil, veri. Üretim ve maliyet verisi dışarı çıkamıyorsa local zaten bir zorunluluk. Bu kısıt yoksa fiyat/performansta bulut API'yi geçmek gerçekten zor — @Nebulous; ve @tosunpasa; bu konuda haklı.

2) En büyük kazanç, modele iş yaptırmayı bırakmak oldu. Başta "sorguyu sen yaz" mantığındaydı; küçük modellerde join'ler ve tarih filtreleri sürekli kayıyordu. Şu anki kurgu: matematik ve kritik karar mekanizmaları tamamen uygulama tarafında, sorgular parametreli ve hazır; modele sadece "şu çıktıyı yorumla", "şu sapmayı açıkla", "şu niyeti şu fonksiyona eşle" diyorum. Doğruluk kıyaslanamayacak kadar arttı.

3) Tool/function calling tarafında küçük modellerin zayıf noktası çok adımlı zincir. Tek turda tek tool çağırıp sonucu tekrar modele veriyorum, adım sayısını da sınırlıyorum. Ayrıca tool seçimini tamamen modele bırakmak yerine önüne deterministik bir niyet sınıflandırıcı koydum; "hangi aracı çağırayım" kararı modele kalınca hata oranı ciddi artıyor.

4) Şema bilgisini prompt'a doldurmak yerine vektör veritabanında tutuyorum (Qdrant + embedding). Tablo/kolon açıklamaları RAG ile geliyor, context şişmiyor. Uygulama .NET, orkestrasyon Semantic Kernel, model tarafı Ollama — model değiştirmek tek ayar olsun diye o katmanı soyutladım, bu iyi bir karardı.

5) Doğruluk ölçümü olmadan bu iş yürümüyor. Agent'ın her önerisi bir onay ekranına düşüyor; kullanıcı reddederse red sebebini de alıyorum. "İyi çalışıyor mu" sorusunun tek dürüst cevabı zamanla oluşan o tablo oluyor, his değil.

6) Maliyet tarafında somut bir veri: aynı işi bulut API ile yaptırdığımızda çalışma başına ~1 USD seviyesindeyiz. Local'de bu maliyet sabit donanıma dönüyor. Yani günlük çalışma sayınızı koyup break-even'ı hesaplamadan karar vermeyin; çoğu senaryoda API daha ucuz çıkıyor.

7) @tosunpasa; 'nın çapraz doğrulama önerisi bende de karşılık buldu. Üreten ile denetleyenin aynı model ve aynı context olmaması, hata yakalama oranını gözle görülür artırıyor.

Özetle çıkarımım: local LLM'i "her şeyi yapan beyin" olarak değil, dar ve iyi tanımlanmış bir işi yapan bir bileşen olarak konumlandırınca 7-8B seviyesi bile üretimde işe yarıyor. Muhakemenin ağır bastığı yerde ise hâlâ büyük modeller lazım.

Deneyen arkadaşlar sonuçlarını da yazarsa karşılaştırmak isterim.

hocam biraz daha açar mısın cli üzerinden derken ?

@slymntgyn
Storno denen bir "ters kayıt belgesi" işlemi var.
Stok hareketi yaptınız. Satın alma işlemi olsun. Eğer bu işlemi trigger ile yaptırırsanız, sistemde negatif stok kontrol yapısı var ve negatif stok izniniz yok ise, trigger'ın bundan haberi olmaz. Bunun alternatiflerini üretebilirsiniz.
Dolayısı yaptığınız her işlemin negatif olma riski de çok yüksek.

Birçok arkadaş bu mantıkda her şeyi yapay zekaya veriyor. Sonra onun hazırladığı mimariyi kontrol etmiyor.
Sonuç bitmeyen projeler.
Veya müşteri memnuniyetsizliği.
Büyük projelerde veya işletim sisteminin içinde LOG - Audit kontrolleri vardır. Sizin ister online ister local llm modelleri için bir audit yapınız olmaz ise, sonuç yine aynı, hüsran olur.

Birçok arkadaş küçük modeller ile AI Asistan projesi yazıyor. Bende başladım ve devam etmedim. Görsel olarak onların yaptıkları cidden çok güzeldi.
Ama benim AI Asistan projemde sandbox vardı. Ve AI'nin alabileceği kararları filitreleyecek ve neler yapabileceğini kontrol eden bir liste.
AI, GOD MODE olamaz. Geliştirici olarak da sen de GodMode olamazsın. Kurallar zinciri olması gerekiyor.
Projeyi sen hazırlayıp, kuralları sen belirliyor olabilirsin. Ama sen kurallara ilk uymak zorunda olansın.

Daha önceki chatde yazdığım gibi. AI nin aldığı kararları kendisine aynı chat bağlamı içinde sorgulatıyorum. "Önerdiğin yapı için risk analizi ve farklı bir metod ile ...... işlemi kontrol et. Hangisinin risk durumu olmaz"
Dolayısı ile iş istediğinizde metodu/terimleri bilmiyor olabilirsiniz ama sonucu bilmeniz gerekiyor.