Bu eklenti ile istediğinizi fazlasıyla yapabilirsiniz
https://tr.wordpress.org/plugins/permalink-manager/