http://localhost/sk-time/category.ph...ersler?sayfa=2

değil

http://localhost/sk-time/category.ph...ersler&sayfa=2

şeklinde bakman lazım sayfa geliyor mu diye. Ayrıca en başa:

print_r($_GET);

yazarsan htaccessden ne şekilde geldiğini görür ve ona göre düzenlemeni daha kolay yaparsın.

Soruna gelince:

RewriteRule ^kategori/(.*)/ category.php?sef=$1 [L]
RewriteRule ^kategori/(.*)/sayfa/(.*)/ category.php?sef=$1&sayfa=$2 [L]

değil:

RewriteRule ^kategori/(.*)/sayfa/(.*)/ category.php?sef=$1&sayfa=$2 [L] 
RewriteRule ^kategori/(.*)/ category.php?sef=$1 [L]

şeklinde kullanacaksın.