Şu kısmın ürettiği linki bir console a yazdırır mısın doğru linki oluşturuyor mu diye kontrol etmek için.
fetch(`/nadmin/kategoriler/${categoryId.toString()}`
Link doğru ise bakend de hata var demektir. Bildiğim bir yapı olmadığı için kodu pek analiz edemiyorum. Sadece id nin başında : var. Dikkatimi çeken o oldu. Adım adım şu kısma kadar id değerinizi doğru taşıdığınızsan emin olmalısınız.
Kategori.findByIdAndDelete(kategoriId)