Ben, açık kaynaklı büyük dil modeli olan Mixtral 8x7B modelini yüksek verimli (high-throughput) bir şekilde çalıştırmak amacıyla, kritik teknik gereksinimleri karşılayacak bir sunucu/bare metal hizmeti almak istiyoruz.
Modelin mimarisi gereği, en önemli ihtiyacımız yüksek miktarda VRAM'e sahip, birbirine hızlı bağlı GPU'lardır.
1. Talep Edilen Minimum Donanım Konfigürasyonu:
BileşenMinimum ÖzellikTercih Edilen ÖzellikGPU Miktarı2 adet2 adetGPU ModelNVIDIA RTX 4090 (24GB VRAM)NVIDIA A6000 (48GB VRAM) veya 2x RTX 4090BağlantıYüksek Hızlı PCIe 4.0/5.0 x16 yuvalarıTercihen NVLink (Opsiyonel)Sistem Belleği (RAM)64 GB DDR5128 GB DDR5Depolama (SSD)2 TB NVMe SSD (PCIe 4.0 veya üzeri)4 TB NVMe SSDİşlemci (CPU)Intel Core i7 / AMD Ryzen 9 muadili (Yüksek çekirdek sayısı)Intel Core i9 / AMD Threadripper muadiliİşletim SistemiUbuntu LinuxUbuntu Linux
2. Maliyet ve Taahhüt Talebi (Zorunlu)
Yukarıdaki konfigürasyon için tarafınızdan aşağıdaki iki ödeme planına göre fiyat teklifi talep ediyoruz:
Aylık Kiralama Bedeli (Taahhütsüz): [Boş bırakılacak]
1 Yıllık Taahhütlü Kiralama Bedeli: [Boş bırakılacak] (Bu planda aylık fiyata uygulanacak indirim oranı belirtilmelidir.)
3. Hizmet ve Ağ Gereksinimleri
Ağ Bağlantısı: Minimum 1 Gbps (Tercihen 10 Gbps) uplink hızına sahip bağlantı.
API Erişimi: Sunucuya tam SSH (root) erişimi zorunludur.
Teklifinizi en kısa sürede değerlendirmeyi ve uzun vadeli bir işbirliği başlatmayı umuyoruz.
Saygılarımla,