<div dir="ltr"><div dir="ltr" class="gmail_attr">If you are using something like H.264 for video, you could consider putting your text into a user defined SEI NAL that is part of the Video stream.<br><br>On Wed, Jul 6, 2022 at 8:38 AM Manuel Wagesreither via gstreamer-devel <<a href="mailto:gstreamer-devel@lists.freedesktop.org" target="_blank">gstreamer-devel@lists.freedesktop.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi all,<br><br>For scientific purposes I'd like to send a video stream together with textual data over an RTP stream. The textual data amend the visual stream and contain information such as X, Y coordinates of points of interest. Thus, they need to be in sync with the video.<br><br>I searched the internet for quite a bit and this is the most promising I found: <a href="https://gist.github.com/justinjoy/e0f563194bbff432d2ab46954f98c6a6" rel="noreferrer" target="_blank">https://gist.github.com/justinjoy/e0f563194bbff432d2ab46954f98c6a6</a><br><br>Sadly, as I do not have prior GStreamer experience, I don't even find the line of code where the text actually gets fed into the stream. It's not clear to me where the text gets taken from.<br><br>Here's some StackOverflow question [1] which claims that RTP suggests RFC4103 [2] and RFC4396 [3] to encapsulate text in RTP but also that GStreamer has no support for it yet.<br><br>[1] <a href="https://stackoverflow.com/questions/60553497/gstreamer-rtp-transmission-of-video-text" rel="noreferrer" target="_blank">https://stackoverflow.com/questions/60553497/gstreamer-rtp-transmission-of-video-text</a><br>[2] <a href="https://datatracker.ietf.org/doc/html/rfc4103" rel="noreferrer" target="_blank">https://datatracker.ietf.org/doc/html/rfc4103</a><br>[3] <a href="https://www.rfc-editor.org/rfc/rfc4396" rel="noreferrer" target="_blank">https://www.rfc-editor.org/rfc/rfc4396</a><br><br>I feel a bit list and would appreciate any advice.<br><br>Thanks in advance,<br>Manuel<div class="gmail-yj6qo"></div><br class="gmail-Apple-interchange-newline"></blockquote></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Jul 6, 2022 at 3:38 PM Manuel Wagesreither via gstreamer-devel <<a href="mailto:gstreamer-devel@lists.freedesktop.org">gstreamer-devel@lists.freedesktop.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi all,<br>
<br>
For scientific purposes I'd like to send a video stream together with textual data over an RTP stream. The textual data amend the visual stream and contain information such as X, Y coordinates of points of interest. Thus, they need to be in sync with the video.<br>
<br>
I searched the internet for quite a bit and this is the most promising I found: <a href="https://gist.github.com/justinjoy/e0f563194bbff432d2ab46954f98c6a6" rel="noreferrer" target="_blank">https://gist.github.com/justinjoy/e0f563194bbff432d2ab46954f98c6a6</a><br>
<br>
Sadly, as I do not have prior GStreamer experience, I don't even find the line of code where the text actually gets fed into the stream. It's not clear to me where the text gets taken from.<br>
<br>
Here's some StackOverflow question [1] which claims that RTP suggests RFC4103 [2] and RFC4396 [3] to encapsulate text in RTP but also that GStreamer has no support for it yet.<br>
<br>
[1] <a href="https://stackoverflow.com/questions/60553497/gstreamer-rtp-transmission-of-video-text" rel="noreferrer" target="_blank">https://stackoverflow.com/questions/60553497/gstreamer-rtp-transmission-of-video-text</a><br>
[2] <a href="https://datatracker.ietf.org/doc/html/rfc4103" rel="noreferrer" target="_blank">https://datatracker.ietf.org/doc/html/rfc4103</a><br>
[3] <a href="https://www.rfc-editor.org/rfc/rfc4396" rel="noreferrer" target="_blank">https://www.rfc-editor.org/rfc/rfc4396</a><br>
<br>
I feel a bit list and would appreciate any advice.<br>
<br>
Thanks in advance,<br>
Manuel<br>
</blockquote></div>