Veri güvenliğinin kritik olduğu projelerde yapay zekayı dış dünyadan tamamen izole etmeyi hedefleyerek tek başıma geliştirdiğim yeni mimariyi paylaşmaktan mutluluk duyuyorum.
Tamamen kapalı ağlarda, %100 Çevrimdışı (Air-Gapped) çalışacak şekilde sıfırdan tasarladığım uçtan uca Yapay Zeka İşletim Sistemim: Hybrid-LLM.
Web tabanlı (Web App) olarak inşa ettiğim bu platform, işletim sistemi (Windows/Linux/Mac) bağımlılığını ortadan kaldırarak tarayıcı üzerinden her cihazdan kolayca erişilebiliyor. Yüksek gizlilik senaryoları için kodladığım projenin teknik yetenekleri:
Çoklu LLM Motoru ve Model Yönetimi HuggingFace (Transformers), MLX ve llama.cpp (GGUF) motorlarını entegre ederek tüm modellerin yerel çalışmasını sağladım. Geliştirdiğim web arayüzüyle modeller kolayca aktifleştiriliyor ve "Sektörel Seçimler" ile farklı departmanlara özel izole asistanlar kurulabiliyor.
Sınırsız Formatta RAG (Retrieval-Augmented Generation) Sistemi sadece PDF ile kısıtlamadım. Videolar (Oto. Transkript), Sesler, YouTube bağlantıları, Görseller (OCR), PDF,DOCX, JSON, CSV ve Excel formatlarını RAG mimarisine entegre ettim. Qdrant veritabanlarıyla verileri kurum dışına çıkarmadan hızla sorgulanabilir hale getirdim.
Model Eğitimi ve Manipülasyon
Fine-Tuning: DoRA, LoRA, QLoRA ve MLX mimarilerini sisteme dahil ettim. Arayüz üzerinden Token, Epoch, Batch Size, Learning Rate ve LoRA parametreleri profesyonelce yönetilebiliyor.
Quantization: Modellerin 2-8 bit aralığında sıkıştırılmasını sağlayarak ciddi donanım tasarrufu elde ettim.
De-quantization: Sıkıştırılmış modeli tekrar float16 formatına çözerek yeniden eğitilebilir (trainable) altyapıyı kazandırdım.
Değiştirilebilir Ek Motorlarla Multimedya Fotoğraf, Video, Ses ve 3D Model üretimlerinin %100 offline gerçekleşmesini sağladım. Alternatif "Ek Motorların" arayüzden indirilip anlık değiştirilebildiği veya iş yükünün uzak GPU sunucularına paslanabildiği dinamik bir mimari kurguladım.
Lokal Veri Analizi (Code Interpreter Sandbox) Hassas Excel/CSV verilerini internete çıkarmadan analiz etmek için kurduğum korumalı Python ortamında, verileri işleyip arayüze anında interaktif grafikler (Pandas/Matplotlib) yansıtıyorum.
Ayrıca yakın zamanda platforma çoklu arayüz dil desteği de ekleyerek sistemi küresel standartlara taşıyacağım.
Tek başıma kodlayıp hayata geçirdiğim bu bağımsız ekosistem, veri güvenliğinde ulaştığım yeni bir kilometre taşı oldu.
DİKKAT ! Bu arada MacBook M4 Air 10 cpu 10 Gpu 24gb Ram modelinde çalıstırıp eğitiyorum yani donanımsal olarak yeterli gelmediğinden hızda yavaşlama var gibi düşünebilirsiniz ama sorun optimizasyonda değil donamımda lakin server yada daha güçlü herhangi bir işletim sistemli bilgisayarlarda hız olması gerektiği gibi.
#HybridLLM#AirGapped#YapayZeka#FineTuning#Quantization#RAG#MachineLearning#SoloDeveloper#EnterpriseAI


Proje detay ve Video linki : https://www.linkedin.com/feed/update...0046749380608/