profesyonel anlamda kullanılır oldugunu sanmıyorum çünkü direk api ile erişim yaparak proje bazlı zaten kendi ai sitelerimizi açabiliriz.
openwebui aradaki katmanı cevap süresini yavaşlatıyor mesela ben bunu kendi localimde 70-90b modellerde test (RTX 4090 test deneminde) ettim bencmarklarımda o dönem %60-70 civarı yavaşlık söz konusuydu kendi yazdığım projede ise muhteşem bir fark vardı bu yüzden o gün aslında soğumdum projeden fakat muhteşem bir arayüzü vardı şuan eger sorunları düzeltmişler ise muhteşem bir proje benim gözümde fakat 2024'te öyle değildi mesela sanırım yine 2024 plugin function mağazı açmışlardı cevap vermiyordu sanırım yoğunluktandı buda bana alt yapı yetersizliğini düşündürdü, şuan son günlerde test yapan bencmark atan varsa güzel bilgi olur aslında.
fakat aws alt yapısı ile falan muhteşem projeler çıkar diye düşünüyorum.
Hocam ben de yaklaşık 2 gündür aktif şekilde deniyorum. aslında bu yapı sadece bir web arayüzü UI yani kendi başına bir yapay zeka modeli barındırmıyor sunucunuz için çok ağır veya karmaşık özellikler gerekmiyor. Yapay zeka modellerini API üzerinden kullandığınızda yanıt süreleri gayet iyi hatta oldukça hızlı diyebilirim tabii ki iyi bir AWS altyapısı ile çok daha güçlü ve stabil bir sistem inşa etmek mümkün. Zaten her şey Dockerize edilmiş durumda bu yüzden kurulumu oldukça kolay ve kurup denemek isteyenler rahatça test edebilir.
Kurulum veya optimizasyon konusunda yardıma ihtiyac olursa yardımcı olurum.