<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:SimSun;
        panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:"\@SimSun";
        panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
        {font-family:Monospace;
        panose-1:0 0 0 0 0 0 0 0 0 0;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
span.E-MailFormatvorlage17
        {mso-style-type:personal-compose;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri",sans-serif;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:70.85pt 70.85pt 2.0cm 70.85pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="DE" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal"><span lang="EN-US">Hello guys,<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">i’ve encountered a very strange behavior while streaming from a v4l2src to a kmssink (or glimagesink) by using vaapi-components for decoding. The problem is, that the streaming starts for 2 seconds, then freezes for 2
 seconds and continues again for 2 seconds and so on. This effect is only noticeable when using vaapi-components. If I use a pipeline with simply software decoding, the stream is displayed fluently.
<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">My sending pipeline is constructed as follows:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">gst-launch-1.0 v4l2src io-mode=dmabuf device=/dev/video$(($1+4)) ! video/x-raw,format=YV12,width=720,height=576  ! v4l2h264enc ! rtph264pay ! udpsink host=${IP} port=55555<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Setting pipeline to PAUSED ...<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Pipeline is live and does not need PREROLL ...<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Setting pipeline to PLAYING ...<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">New clock: GstSystemClock<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Redistribute latency...<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">The erroneous reading pipeline looks like this:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">gst-launch-1.0 udpsrc port=55555 caps="application/x-rtp,media=(string)video,clock-rate=(int)90000, encoding-name=(string)H264, payload=(int)96" ! rtph264depay ! vaapih264dec ! vaapipostproc width=720 height=576 ! glimagesink<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Setting pipeline to PAUSED ...<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Pipeline is live and does not need PREROLL ...<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Got context from element 'vaapipostproc0': gst.vaapi.Display=context, gst.vaapi.Display=(GstVaapiDisplay)"\(GstVaapiDisplayDRM\)\ vaapidisplaydrm1";<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Setting pipeline to PLAYING ...<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">New clock: GstSystemClock<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Redistribute latency...<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">WARNING: from element /GstPipeline:pipeline0/GstKMSSink:kmssink0: A lot of buffers are being dropped.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Additional debug info:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">../libs/gst/base/gstbasesink.c(3005): gst_base_sink_is_too_late (): /GstPipeline:pipeline0/GstKMSSink:kmssink0:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">There may be a timestamping problem, or this computer is too slow.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">WARNING: from element /GstPipeline:pipeline0/GstKMSSink:kmssink0: A lot of buffers are being dropped.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Additional debug info:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">../libs/gst/base/gstbasesink.c(3005): gst_base_sink_is_too_late (): /GstPipeline:pipeline0/GstKMSSink:kmssink0:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">There may be a timestamping problem, or this computer is too slow.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">If I run the following pipeline on the same system, the stream is presented fluently without any problems:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal" style="text-autospace:none"><span lang="EN-US">gst-launch-1. 0 udpsrc
</span><span lang="EN-US" style="font-size:10.0pt;font-family:Monospace;background:#F6F6F6">port=55555 caps=\"application/x-rtp, media=(string)video, clock-rate=(int)90000, encoding-name=(string)H264, payload=(int)96\" ! rtph264depay ! avdec_h264 ! decodebin
 ! videoconvert ! kmssink</span><span lang="EN-US" style="font-size:10.0pt;font-family:Monospace"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">I’m not sure what exactly the problem is. Maybe the timestamping mechanism in vaapi has a different behavior then in the avdec_h264 as the log message says?  I’ve also changed log levels but I couldn’t find anything helpful.
<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Any help for further diagnostics is highly appreciated.
<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Kind regards<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US">Michael<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US"><o:p> </o:p></span></p>
</div>
<br>
<div style="background-color:#FFFFFF"><br>
<span style="font-size:14pt;  font-family:'times new roman','garamond',serif; color:#000000;">Bitte beachten / Please note!</span><br>
<div style="font-size:12pt; line-height:10pt; font-family:'times roman',serif;"><br>
*******************************************************************************
<p>AGCO GmbH<br>
Sitz der AGCO GmbH: Johann-Georg-Fendt-Str.4, 87616 Marktoberdorf, Germany<br>
Registergericht Amtsgericht Kempten HRB 10327<br>
Geschäftsführer: Christoph Groeblinghoff, Ingrid Bussjaeger-Martin, Dr. Heribert Reiter, Ekkehart Glaeser<br>
Vorsitzender des Aufsichtsrates: Torsten Dehner<br>
</p>
*******************************************************************************
<p>Diese E-Mail ist nur für den Empfänger bestimmt, an den es gerichtet ist und kann vertrauliches<br>
bzw. unter das Berufsgeheimnis fallendes Material enthalten. Jegliche darin enthaltene Ansicht<br>
oder Meinungsäußerung ist die des Autors und stellt nicht notwendigerweise die Ansicht oder<br>
Meinung von AGCO dar. Sind Sie nicht der Empfänger, so haben Sie diese E-Mail irrtümlich
<br>
erhalten und jegliche Verwendung, Veröffentlichung, Weiterleitung, Abschrift oder jeglicher<br>
Druck dieser E-Mail ist strengstens untersagt. Weder AGCO noch der Absender übernehmen die
<br>
Haftung für Viren; es obliegt Ihrer Verantwortung, die E-Mail und deren angehängte
<br>
Dateien (sofern vorhanden) auf Viren zu überprüfen.<br>
</p>
*******************************************************************************
<p>This email is intended solely for the use of the individual to whom it is addressed and may contain<br>
confidential and/or privileged material. Any views or opinions presented are solely those of the<br>
author and do not necessarily represent those of AGCO. If you are not the intended recipient, be<br>
advised that you have received this email in error and that any use, dissemination, forwarding,<br>
printing or copying of this email is strictly prohibited. Neither AGCO nor the sender accepts any<br>
responsibility for viruses and it is your responsibility to scan and virus check the email and its<br>
attachment(s) (if any).<br>
</p>
******************************************************************************* </div>
</div>
</body>
</html>