<div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">Le ven. 15 avr. 2022 08 h 47, Dejan Cotra <<a href="mailto:Dejan.Cotra@nttdata.com">Dejan.Cotra@nttdata.com</a>> a écrit :<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Nicolas,<br>
<br>
Thank you that was very helpful. <br>
<br>
I have one similar question. I also play around with facedetect element. I know that I can retrieve information about face from bus message emitted by facedetect element.<br>
<br>
Is there a way to retrieve informations about face from video frame metainfo? Something similar to voice_activity in GstAudioLevelMeta?<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">I'm currently away from a real computer to check the code, though the "in-band" way is GstVideoRegionOfInterest. ROI are rectangles with a type (a simple string). So facedetect should be adding ROI meta to the frames. </div><div dir="auto"><br></div><div dir="auto">A typical use case is to detect these with a pad probe and set a qp-delta (not sure of the name) so that capable encoders can be told to work harder on the details of that rectangle.</div><div dir="auto"><br></div><div dir="auto">This could also be used for other purposes. Note that ONNX (ML plugins we have) tend to prefer having more shapes then just rectangles, so they have their own meta.</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
Br,<br>
Dejan<br>
<br>
-----Original Message-----<br>
From: Nicolas Dufresne <<a href="mailto:nicolas@ndufresne.ca" target="_blank" rel="noreferrer">nicolas@ndufresne.ca</a>> <br>
Sent: Friday, April 8, 2022 3:31 PM<br>
To: Discussion of the development of and with GStreamer <<a href="mailto:gstreamer-devel@lists.freedesktop.org" target="_blank" rel="noreferrer">gstreamer-devel@lists.freedesktop.org</a>><br>
Cc: Dejan Cotra <<a href="mailto:Dejan.Cotra@nttdata.com" target="_blank" rel="noreferrer">Dejan.Cotra@nttdata.com</a>><br>
Subject: Re: webrtcdsp voice detection<br>
<br>
Le vendredi 08 avril 2022 à 11:10 +0000, Dejan Cotra via gstreamer-devel a écrit :<br>
<br>
[...]<br>
>  <br>
> I know that I can retrieve informations from webrtcdsp voice detection <br>
> via bus messages. I receive GST_MESSAGE_ELEMENT message from webrtcdsp <br>
> element with payload like this:<br>
>  <br>
> voice-activity, stream-time=(guint64)2640000000, stream-has- <br>
> voice=(boolean)false;<br>
>  <br>
> Question is can I retrieve informations about voice detection in some <br>
> other way. Like metainfo of each sample that I pull from appsink <br>
> element? Or something similar?<br>
<br>
It also sets the voice_activity boolean in GstAudioLevelMeta (along with the audio amplitude). This is per buffers, not per samples. So you get feedback every 10ms more or less.<br>
<br>
Nicolas<br>
</blockquote></div></div></div>