<a> için active class'ı yoksa <a>'ları <li> içerisine alıp active classını <li>'ye verin.
Özel tema kullanıyorsanız CSS ile custom şekil vermeniz gerekiyor.

<div class="pagination">

<?php
$s=0;
while ($s < $toplam_sayfa){
$s++; ?>

<a href="<?=$uruncek['slug']?>?sayfa=<?php echo $s; ?>"  class="<?php if($_GET["sayfa"] == $s): echo 'active'; endif; ?>" ><?php echo $s; ?></a>

<?php } ?>
</div>