Yoast Seo kullanıyorsanız Search Appearance > Kategoriler sekmesinin en altında remove category url gibi bir seçenek var. Oradan kaldır derseniz kalkıyor.