Wordpress'in yapısı gereği mecburen en az bir tane kategori olmalı sitede, bundan dolayı silemezsin. Ama düzenle diyip farklı bir isim verebilirsin.