nginx kullanıcısı ffmpeg'i çalıştırmak için gerekli izinlere sahip değil. Muhtelemen sorunun sebebi budur. FFmpegi çalıştırmak için gerekli izinlere sahip bir grup oluşturun, nginx kullanıcısını da bu gruba dahil edin.
Bu sorunu çözmez ise, derinlemesine incelemek adına rtmp modülünü debug ile tekrar configure edip, nginx errorlog seviyesini debug'a çekin.
Şu şekilde yetkisini kapatmıştım ama alakası var mı?
sudo useradd -r nginx
sudo usermod -s /usr/sbin/nologin nginx