Aylık kiralama bedeli 8-12$ denebilecek orta güçte bir VPS sunucum var ve üzerinde son 2 haftadır bir çok farklı açık kaynak LLM'ler kurup denedim. En hafifi ve iyisi OpenHermes (LLaMa) idi. O bile küçük-orta ölçek bir prompt isteği için en az 1 dakika bekletiyordu. Bu satan arkadaşlar eğer çok daha az bekleme olduğunu belgelerlerse ben sunucu üzerine LLM kurma yolu ile yapmadıklarına tam kanaat getiririm açıkçası.

Gerçi kendi sunucuları üzerine değil de başka sunuculara kurulmuş LLM'lerden çekme durumları da olabilir tabi. fal.ai gibi servislerle bu mümkün.