Somewhat hypothetical, but it may be what I am currently running into: how do muxers deal with missing data in their inputs? <br><br>Consider a pair of unreliable network sources, like RTP from udpsrc, or in my case a webrtcbin, with an audio and video stream. Due to poor network conditions, most or all audio gets through, but lost video packets mean some key frames don't make it through and subsequent delta frames can't be decoded, so a few seconds of video never makes it into the pipeline, but there is audio.<br><br>After some processing and encoding, the audio and video go into a muxer (mpegtsmux in my case). <br><br>- How does the muxer deal with the time periods in which there are audio buffers, but no video buffers? Does it freeze, waiting for video timestamps that will never come? Does it output only audio and no video in that time? <br><br>- I *assume* it doesn't just freeze, but how does it know when to stop waiting - maybe when a video buffer with a higher PTS arrives? Does it then send out all the audio in between?<br><br>- Is it wise to always put a leaky queue in front of muxers to ensure all pipeline branches can maintain flow? I fear that my pipeline is freezing because my video branch stalls because a demuxer can't output buffers, because the audio branch is blocked at the muxer downstream, because no correspondencing video is available, deadlocking the system. Can that happen, and if so, how to prevent it? If not, good - but why not, what prevents it?<br><br>Hoping for some insight from people who understand some of the internals and fundamentals better than I do :)<br>Cheers,<br>Michiel<br><br>-- <br><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><span style="font-family:arial,helvetica,sans-serif">Michiel Konstapel<br><i><font size="1">Lead Software Developer</font><br></i></span></div><div><span style="font-family:arial,helvetica,sans-serif"><span style="font-family:times new roman,serif"><font size="2"><b><a href="http://aanmelder.nl" target="_blank">aanmelder.nl</a></b></font></span><i><br></i></span></div><div dir="ltr"><span style="font-family:arial,helvetica,sans-serif"><br>T: +31 (0)15 2400119<br>E: <a href="mailto:michiel@aanmelder.nl" target="_blank">michiel@aanmelder.nl</a></span></div><div dir="ltr"><a href="https://www.aanmelder.nl/i/footer" target="_blank"><img src="https://www.aanmelder.nl/i/footer-img" alt=" aanmelder.nl"></a><br></div></div></div></div><br>