Selamlar,
https://hub.docker.com/r/tiangolo/nginx-rtmp/
şu tarz docker imageları ile çözebilirsiniz. Hazır compile olmuş oluyor. Yukarıdaki hataya hızlıca bakınca ./configure kısmı eksik .

Ücretli isterseniz pm atarsanız yardımcı olabilirim.