Sorunumu çözdüm, functions.php dosyası içinde yer alan

Portfolio alanındaki

'rewrite' => array( 'slug' => 'portfolio' ),

kodundaki portfolio yazan yeri değiştirin

Portfolio Category alanına ise

'rewrite' => array( 'slug' => 'siteniz' ),

kodunu ekleme yapmanız gerekmektedir.

Bu işlemi yaptıktan sonra tekrardan kalıcı Bağlantılara gelip hiç bir ayar yapmadan sadece Kaydet diyoruz.