@Benny; kullandığın kütüphaneye baktım biraz "RemoveReactionsAsync" methodunu kullanarak "emoji" kaldırabilir ve yetkiyi alabilirsin. Eğer bot kaldırmayacaksa emojiyi "RestUserMessage" altındaki "Reactions" verisini kontrol ederek var olan emojiye göre yetki verebilirsin.
Daha farklı ise direkt olarak "DiscordSocketClient" altında bulunan "ReactionAdded" ile eklenen emojileri yakalarsın "ReactionRemoved" ile kaldırılan emojileri yakalarsın bu sayede emoji eklendiğinde eklenen emojiye göre yetki kaldırılan emojiye göre yetti alımı yapabilirsin.
Örnek Kod:

_client = new DiscordSocketClient();
_client.ReactionRemoved += _client_ReactionRemoved;

private Task _client_ReactionRemoved(Cacheable<IUserMessage, ulong> arg1, ISocketMessageChannel arg2, SocketReaction arg3)
{
      var kaldirilan_emote = arg3.Emote;
      var mesaj = arg1;
      if(kaldirilan_emote== new Emoji("EMOJİN BURAYA GELECEK"))
      {
      // Admin yetkisini al
      }

throw new NotImplementedException();
}