Yapay Zeka Entegrasyonu

Merhabalar şöyle bir sorum var, bir kamu kurumunun web sitesine yapay zeka entegrasyonu yapılacak, veriler sunucudan çekilecek,

mesela kullanıcı yapay zeka ya işte mehmetin telefon numarasını söyle dediğinde veriyi bulup yazacak. Böyle bir şey nasıl planlanır bütçe ne aralıkda olur aylık gideri neye göre ne olur gibi soruların cevaplarını merak ediyorum bilen arkadaşlar cevaplarsa sevinirim.

Sadece veri gösterecek ise GPT’nin uygun modelleri kullanılır. Sorgulamak istediğiniz veriler için modelin kullanacağı toolslar hazırlayacaksınız. Model toolsları kullanarak istediğiniz veriyi verecek. Test ederken de yaklaşık maliyeti görürsünüz zaten.

Merhabalar, bahsettiğiniz sistemi geliştirebiliriz. Kamu kurumu olduğu için burada özellikle verilerin üçüncü taraf veya yurt dışındaki AI servislerine gönderilmediği On-Premise bir yapı öneriyoruz.
Yapay zekâ kurumun kendi sunucusunda çalışır ve mevcut veritabanı/API'lerle entegre edilir. Örneğin kullanıcı “Mehmet'in telefon numarası nedir?” dediğinde sistem kullanıcının yetkisini kontrol eder, ilgili bilgiyi kurumun kendi sunucusundan sorgular ve kullanıcıya iletir. Böylece kurum verisinin dışarı çıkmasına gerek kalmaz.
Doküman ve mevzuat tarafında RAG, canlı veriler tarafında ise kontrollü API/Tool Calling yapısı kullanabiliriz. Kullanıcı/rol yetkilendirmesi ve sorgu kayıtları da sisteme dahil edilebilir.
Maliyet; kullanıcı sayısı, kullanılacak model, GPU/sunucu ihtiyacı ve yapılacak entegrasyonların kapsamına göre değişir. On-Premise yapıda dışarıya sürekli token/API ücreti ödeme zorunluluğu da bulunmaz.
İhtiyaçlarınızı ve mevcut sunucu/veritabanı yapınızı öğrenebilirsek buna göre mimariyi, geliştirme maliyetini ve varsa aylık işletme giderlerini netleştirebiliriz.

Bu bahsi geçen işlem için yapay zeka entegrasyonu olmuyor. Misal veriyorum burada 5 kalem sorgu varsa sabit ise zaten YZ'den destek almadan SQL sorgu ile okuyabilir verileri; Ahmet'in Adresi, Mehmet'in Telefonu, Cafer'in Mail'i gibi sorulara zaten sabit cevaplar ile dönebilir. Ama spekülatif cevaplar geliyorsa bir sorguda birden çok karmaşık şeyler geliyorsa o zaman YZ'ye başvurmanız gerekir; Ahmet'in Telefonunu ve Mailini istiyorum derse misal bu sabit sorgudan dışa doğru eğrilir ve buna YZ gerekir. Ya da belgeler sabit değildir SQL'den okuması gerekiyordur buna uygun veri dokümanı okuması gerekir.

Herşeyden önce ise hangi YZ API kullanacaksınız? Devlet dediğiniz zaman iş biraz resmi ve veri korumaya dönüyor KVKK gereği ondan dolayı iyi bir araştırma lazım bence.

hocam gemini ve chatgpt sadece veri okuma ve yazma için free modeli kullanırsınız. Tabi kullanıcıya göre girdi çıktılar artabilir fakat başlangıçta free model yeterlidir.

entegrasyon ihtiyacınız varsa ulaşabilirsiniz.

Ne kadar yoğun kullanılacağına göre değişir, input ve output token konusunu araştırın. Sizin göndereceğiniz mesajlar(eğitim verisi, mesaj metni vb) çok ucuzdur ancak gelen yanıt daha pahalıdır. Yanıtları kısa tutmaya çalışırsanız sorun olmaz. Büyük bir veri göstermesi gerekiyorsa o veriyi tool ile veritabanında açıp ekrana getirmeli, kendisi okumamalı.

Sadece veriyi göstermek yerine ayrıca IT’ci eleman gibi çalışmasını istiyorsanız, örneğin, “mehmet’in numarasını şu şekilde değiştir”, “şöyle şöyle profile uygun kullanıcıların listesini göster ve sil”, "falan filan özelliklerine sahip kullanıcılara şu şekilde email hazırla ve onlara göndermeden önce bana kopyasını gönder” şekilde işlemler yapmak istiyorsanız ve bu işlemleri teknik konulardan anlamayan kurum çalışanları yapacaksa hermes agent’i kurmanızı öneririm sunucuya (chatgpt hesabı ile bağlarsınız, gpt 5.5-5.6 modelleri ile sorunsuz çalışır), hermes agent’i slack’e, telegram’a bağlayabilirsiniz, web dashboard ile uğraşmak yerine.

Basit bir chat bot kurulur sistem promptu verilir. İlgili soruya ilgili cevap verir. Aylık maliyeti de düşüktür. Kendi kurduğum insansı tg bot a günlük binlerce mesaj paragraflarca verilen cevap varken maliyeti 1500 ₺ idi. Sizin sistemde çok bir maliyeti olmaz

Kendisinin bu foruma üyeliği var mı yok mu bilmiyorum sosyal medyada tanıştığım bir uzman var. Adı Hamza Bravo kendisi ile iletişime geçmenizi tavsiye ederim.