Firewall ile yapabilirsin. Sunucu üzerinden her hangi bir kısıtlama yapamassın. Ücretsiz firewall pfsense filan kullanabilirsiniz en basitinden.