Biraz daha aciklayici olmasi icin Category ve Users modelinde tanimladigin relationshipleri ve tabloyu paylasabilir misin?
User tablondaki id ile erisebilmen icin;

Category modelinde

public function users()
{
return $this->hasMany(User::class); 
}

User modelinde;

public function categories()
{
return $this->belongsToMany(Category::class, 'user_id', 'id'); // user birden fazla category'e ait
}

Anladigim kadariyla Category model tablonda user_id var ve buradan user'lara erisebiliyorsun.
$category->users()->get(); veya $category->users; ile kolaylikla user bilgilerine erisebilirsin.