Sanırım şöyle bir eklenti arıyorsunuz; https://wordpress.org/plugins/category-featured-image/

Aynı isimle farklı alternatiflere de göz atabilirsiniz.