Contabo Sunucumda Website MS problemi, Sitem 5 saniyede açılıyor

Merhaba, Contaboda bi 64gb ramli sunucum var 12 cpu, Teknik özellikleri gayet iyi, cpu kullanımı %1-2, her şey kağıt üzerinde normal.
Ama sitem 1 gün 200ms, bi gün 5500ms, Çözemiyorum, başka hosting firmalarında bunu yaşamıyorum fakat projem biraz spesifik olduğundan her yerde barındıramıyorum,
Bana problem internet ile alakalı geliyor, daha önce böyle bişey yaşayan oldu mu? Yani cpu kullanımı %1-2, yük yok her şey normal ama sayfa 5500 ms sürüyor loadlanması yani 5.5 saniye falan bu da büyük bi delay malum.
Apache vardı Nginx kurdum en son ikisinide silip OpenLiteSpeed kurdum yine aynı bence sorun yazılımsal değil çünkü CPU usage çoooook düşük, darboğaz yok bişey yok.

Sitem şimdi düzeldi, speedteste bakıyorum 11ms, fakat sitem geri yavaşlamaya bşaladığında ise ms 200-500 oluyor speedtest hız ms i yani, problem internetteymiş.