Hocam llm sağlayıcılar ile çalışırken çok token harcanmasının önüne geçemezsiniz.
ancak kendisini kanıtlayan bir uygulama geliştirdiğiniz zaman sağlayıcılar ile enterprise anlaşmalar yapılabilir, xai, openi, vertex ai gibi sağlayıcılar cache ve batch seçenekleri sunuyor ama istek limitleri var. Limitler kullandıkça düzenli olarak zamanla çoğalıyor. Yani uzun zamanlı bir plan ile ilerlemek gerekiyor hocam.
İlerleyen zamanlarda dedicated server ile açı kaynak modeller de kullanılabilir ama hepsi maliyet hocam.