<div dir="ltr"><div><div><div><div><div><div>Hi,<br><br></div>I have a RTP MCU that broadcasts audio and video streams from several users in a conference.<br></div>Users turn on and off their mics and cameras randomly during the conference.<br><br></div>I'm looking for a file format to record the streams without processing and a way to later mix audio and video using gstreamer's audiomixer and compositor elements.<br></div><div>Multiple videos will be displayed on a grid or a single video will be chosen based on the active speaker.<br><br></div><div>The file formats I've found are:<br></div></div>1. pcap - I'll might be able to save all streams in a single file and demux with the udp port. The pcap frame timestamp might be useful. Some of the pcap frame data might be redundant or unneeded.<br>2. rfc4571 (rtpstreampay/rtpstreamdepay) - the format is simple and efficient. I'll probably need a separate file per stream/session. Might be able to demux based on SSRC.<br></div>3. gdp - seems like gstreamer specific. Not sure how hard it will be to create a compatible file with a separate program.<br><br><div>Do I need a separate file per SSRC/RTP session/User (audio+video)?<br></div><div>Do I need to save both RTP and RTCP packets or only RTP packets?<br></div><div>How do I synchronize audio and video from the same user?<br></div><div>How can I handle streams starting and stopping at different times duration the conference?<br></div><div><br></div>Thanks<br><div><br><br></div></div>