RewriteRule ^kategori/(.*) category.php?sef=$1 [L]
htaccess le uzun süredir çalışmadığımdan unutmuş olabilirim, belki bunun için özel bir nitelik olabilir.
Ama dediğini çözmek için şöyle birşey yapabilirsin.

RewriteRule ^kategori/(.*)/ category.php?sef=$1 [L]

ya da ilk metodu kullanarak category.php dosyanda aşağıdaki gibi kullan.

$sef = str_replace('/', '', $_GET["sef"]);

ardından sorgu olacak