VPS ile dedicated arasında sistem yönetimi açısından hiçbir fark yoktur.
Paneli bir kenara bırakarak mail sunucusunun statslarına bakınız. Spamd spam korumasını yapan bir servistir. Eğer yüksek olarak işlemci ya da ram kullanımı yapıyorsa, muhtemelen dediğiniz gibi spam yapılıyor olabilir.

mail loglara bakmayı deneyiniz.

tail -f /var/log/mailsunucununismi

Kolay gelsin.