WHM panelde Main >> Server Configuration >> Tweak Settings menüsü altında
The maximum each domain can send out per hour (0 is unlimited)

seçeneğindeki girecğiniz değer dışında iptables ile ayarlamaları var fakat yabancıyım o konuda, zaten whm den yapılan ayar işlemiyor diye biliyorum