Aylık kiralama bedeli 8-12$ denebilecek orta güçte bir VPS sunucum var ve üzerinde son 2 haftadır bir çok farklı açık kaynak LLM'ler kurup denedim. En hafifi ve iyisi OpenHermes (LLaMa) idi. O bile küçük-orta ölçek bir prompt isteği için en az 1 dakika bekletiyordu. Bu satan arkadaşlar eğer çok daha az bekleme olduğunu belgelerlerse ben sunucu üzerine LLM kurma yolu ile yapmadıklarına tam kanaat getiririm açıkçası.
Gerçi kendi sunucuları üzerine değil de başka sunuculara kurulmuş LLM'lerden çekme durumları da olabilir tabi. fal.ai gibi servislerle bu mümkün.
Sizdeki konu biraz daha farklı hocam, bugün deepseek modeli de sunucuya kurulabilir, hatta kurmak istemiyorsanız api üzerinden ( kendi ana firmasından ) api kiralayıp belli bir content limitinde kullanabilirsiniz.
Burda dönen muhabbet, sunucudan daha çok api üzerinden fine tuning ile modeli eğitip, claude gibi cevap vermesini sağlamak, ancak templatede claude gibi cevap versede, içerik claude değil, haliyle bir dolandırıcılık söz konusu, sizdeki mantık ise, sanal veya fiziksel / gpu sunucu kiralayıp belli başlı yapay zeka modellerini kullanmak.