Kesin kurallar koymamışsınız. Şöyle daha uygun olabilir:

RewriteRule ^kategori/([^/]+)/sayfa/(\d+) category.php?sef=$1&sayfa=$2