<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"> <head> <meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1"> <meta name="Generator" content="Microsoft Word 15 (filtered medium)"> <style></style> </head> <body lang="EN-US" link="#0563C1" vlink="#954F72"> <div class="WordSection1"> I am having trouble adding elements dynamically to a tee to allow simultaneous streaming and recording of video when requested by the user.<o:p></o:p> <o:p> </o:p> I first set up the following pipeline to stream video via RTSP:<o:p></o:p> <o:p> </o:p> nvarguscamerasrc ! video/x-raw(memory:NVMM),width=1280,height=720,framerate=30/1,format=NV12 ! tee name=sourceTee ! queue ! omxh264enc ! rtph264pay name=pay0 pt=96<o:p></o:p> <o:p> </o:p> I then try to add elements to the sourceTee when the user clicks start and take them down again when the user clicks stop. I try to flush the video capture part of the pipeline by injecting EOS into the video capture queue's sink pad and waiting for it to arrive on the filesink.<o:p></o:p> <o:p> </o:p> It works most of the time, but when I start and stop video capture multiple times, it is not stable, and sometimes it appears that I take down the whole pipeline and the video stream stops.<o:p></o:p> <o:p> </o:p> Can somebody take a look at my code for taking down the pipeline and let me know what I am doing wrong?<o:p></o:p> <o:p> </o:p> A struct with elements to capture video to disk:<o:p></o:p> <o:p> </o:p> struct ArgusVideoCaptureElements<o:p></o:p> {<o:p></o:p> GstElement* queue = nullptr;<o:p></o:p> GstElement* nvtee = nullptr;<o:p></o:p> GstElement* convert = nullptr;<o:p></o:p> GstCaps* convertCaps = nullptr;<o:p></o:p> GstElement* encoder = nullptr;<o:p></o:p> GstElement* mux = nullptr;<o:p></o:p> GstElement* filesink = nullptr;<o:p></o:p> };<o:p></o:p> <o:p> </o:p> This is the code I use to start capturing video (at the same time as the stream is running):<o:p></o:p> <o:p> </o:p> void ArgusVideoCapture::start()<o:p></o:p> {<o:p></o:p> m_bin = gst_bin_new("video_capture_bin");<o:p></o:p> <o:p> </o:p> // Pipeline to capture video to disk<o:p></o:p> // sourceTee. ! queue ! nvvidconv ! video/x-raw(memory:NVMM),format=(string)I420 ! omxh264enc ! mp4mux ! filesink location=test.mp4<o:p></o:p> <o:p></o:p> ASSERT_THROW(<o:p></o:p> m_elems.queue = gst_element_factory_make("queue", NULL), <o:p></o:p> "Video Capture: Could not create queue element");<o:p></o:p> <o:p> </o:p> ASSERT_THROW(<o:p></o:p> m_elems.nvtee = gst_element_factory_make("nvtee", NULL), <o:p></o:p> "Video Capture: Could not create nvtee element");<o:p></o:p> <o:p> </o:p> ASSERT_THROW(<o:p></o:p> m_elems.convert = gst_element_factory_make("nvvidconv", NULL), <o:p></o:p> "Video Capture: Could not create videoconvert element");<o:p></o:p> <o:p> </o:p> ASSERT_THROW(<o:p></o:p> m_elems.convertCaps = gst_caps_from_string("video/x-raw(memory:NVMM), format=(string)I420"),<o:p></o:p> "Video Capture: Could not create videoconvert caps");<o:p></o:p> <o:p></o:p> ASSERT_THROW(<o:p></o:p> m_elems.encoder = gst_element_factory_make("omxh264enc", NULL),<o:p></o:p> "Video Capture: Could not create encoder");<o:p></o:p> <o:p> </o:p> ASSERT_THROW(<o:p></o:p> m_elems.mux = gst_element_factory_make("mp4mux", NULL),<o:p></o:p> "Video Capture: Could not create multiplexer");<o:p></o:p> <o:p> </o:p> ASSERT_THROW(<o:p></o:p> m_elems.filesink = gst_element_factory_make("filesink", NULL),<o:p></o:p> "Video Capture: Could not create filesink");<o:p></o:p> <o:p> </o:p> auto filename = generateFilename();<o:p></o:p> <o:p> </o:p> gst_util_set_object_arg(G_OBJECT(m_elems.encoder), "tune", "zerolatency");<o:p></o:p> g_object_set(G_OBJECT(m_elems.filesink), "location", filename.c_str(), NULL);<o:p></o:p> g_object_set(G_OBJECT(m_elems.filesink), "sync", FALSE, NULL);<o:p></o:p> <o:p> </o:p> gst_bin_add_many(GST_BIN(m_bin), m_elems.queue, m_elems.nvtee, m_elems.convert,<o:p></o:p> m_elems.encoder, m_elems.mux, m_elems.filesink, NULL);<o:p></o:p> <o:p> </o:p> gst_element_link_many(m_elems.queue, m_elems.nvtee, m_elems.convert, NULL);<o:p></o:p> gst_element_link_filtered(m_elems.convert, m_elems.encoder, m_elems.convertCaps);<o:p></o:p> gst_element_link_many(m_elems.encoder, m_elems.mux, m_elems.filesink, NULL);<o:p></o:p> <o:p> </o:p> // Create ghost pad for bin<o:p></o:p> GstPad* pad = gst_element_get_static_pad(m_elems.queue, "sink");<o:p></o:p> ASSERT_THROW(pad, "Could not get sink pad from queue element");<o:p></o:p> ASSERT_THROW(gst_element_add_pad(m_bin, gst_ghost_pad_new("sink", pad)),<o:p></o:p> "Could not add sink ghost pad to video capture bin");<o:p></o:p> gst_object_unref(GST_OBJECT(pad));<o:p></o:p> <o:p> </o:p> GstElement *tee = gst_bin_get_by_name(GST_BIN(m_pipeline), m_teeName.c_str());<o:p></o:p> ASSERT_THROW(tee, "Could not get tee element");<o:p></o:p> <o:p> </o:p> m_teePad = gst_element_get_request_pad(tee, "src_%u");<o:p></o:p> ASSERT_THROW(m_teePad, "Could not get tee request pad");<o:p></o:p> gst_object_unref(tee);<o:p></o:p> <o:p> </o:p> ASSERT_THROW(gst_bin_add(GST_BIN(m_pipeline), m_bin), "Could not add video capture bin to pipeline");<o:p></o:p> <o:p> </o:p> GstPad* sinkPad = gst_element_get_static_pad(m_bin, "sink");<o:p></o:p> ASSERT_THROW(sinkPad, "Could not get sink pad from video capture element");<o:p></o:p> ASSERT_THROW(gst_pad_link(m_teePad, sinkPad) == GstPadLinkReturn::GST_PAD_LINK_OK, "Could not link tee pad to video capture bin");<o:p></o:p> gst_object_unref(sinkPad);<o:p></o:p> <o:p> </o:p> gst_element_sync_state_with_parent(m_bin);<o:p></o:p> }<o:p></o:p> <o:p> </o:p> ----<o:p></o:p> <o:p> </o:p> This is the code I use to take down the video capture bin:<o:p></o:p> <o:p> </o:p> void ArgusVideoCapture::stop()<o:p></o:p> {<o:p></o:p> if (m_teePad == nullptr)<o:p></o:p> {<o:p></o:p> log_warning("Cannot stop video capture since it was not running");<o:p></o:p> return;<o:p></o:p> }<o:p></o:p> <o:p> </o:p> m_eosReceived = false;<o:p></o:p> <o:p> </o:p> gst_pad_add_probe(m_teePad, GST_PAD_PROBE_TYPE_BLOCK_DOWNSTREAM, <o:p></o:p> [](GstPad* pad, GstPadProbeInfo* info, gpointer user_data) -> GstPadProbeReturn<o:p></o:p> {<o:p></o:p> log_info("Blocking downstream data on the tee pad for video capture");<o:p></o:p> ArgusVideoCapture *self = reinterpret_cast<ArgusVideoCapture *>(user_data);<o:p></o:p> <o:p> </o:p> gst_pad_remove_probe(pad, GST_PAD_PROBE_INFO_ID(info));<o:p></o:p> GstPad *sinkPad = gst_element_get_static_pad(self->m_elems.filesink, "sink");<o:p></o:p> <o:p> </o:p> // Callback to wait for end of stream<o:p></o:p> gst_pad_add_probe(sinkPad, GST_PAD_PROBE_TYPE_BLOCK_DOWNSTREAM, <o:p></o:p> [](GstPad* pad, GstPadProbeInfo* info, gpointer userData) -> GstPadProbeReturn<o:p></o:p> {<o:p></o:p> ArgusVideoCapture *self = reinterpret_cast<ArgusVideoCapture *>(userData);<o:p></o:p> <o:p> </o:p> if (GST_EVENT_TYPE(GST_PAD_PROBE_INFO_DATA(info)) != GST_EVENT_EOS)<o:p></o:p> return GST_PAD_PROBE_PASS;<o:p></o:p> <o:p> </o:p> log_info("File sink received EOS");<o:p></o:p> gst_pad_remove_probe(pad, GST_PAD_PROBE_INFO_ID(info));<o:p></o:p> self->m_eosReceived = true;<o:p></o:p> }, self, nullptr);<o:p></o:p> <o:p> </o:p> gst_object_unref(sinkPad);<o:p></o:p> GstPad* binSinkPad = gst_element_get_static_pad(self->m_bin, "sink");<o:p></o:p> gst_pad_send_event(binSinkPad, gst_event_new_eos());<o:p></o:p> gst_object_unref(binSinkPad);<o:p></o:p> <o:p> </o:p> }, this, nullptr);<o:p></o:p> <o:p> </o:p> log_info("Unlinking from tee pad");<o:p></o:p> GstPad* sinkPad = gst_element_get_static_pad(m_bin, "sink");<o:p></o:p> gst_pad_unlink(m_teePad, sinkPad);<o:p></o:p> gst_object_unref(sinkPad);<o:p></o:p> gst_object_unref(m_teePad);<o:p></o:p> <o:p> </o:p> auto start = std::chrono::high_resolution_clock::now();<o:p></o:p> auto now = start;<o:p></o:p> auto duration = std::chrono::duration_cast<std::chrono::milliseconds>(now-start).count();<o:p></o:p> <o:p> </o:p> while (!m_eosReceived && (duration < 3000))<o:p></o:p> {<o:p></o:p> now = std::chrono::high_resolution_clock::now();<o:p></o:p> duration = std::chrono::duration_cast<std::chrono::milliseconds>(now-start).count();<o:p></o:p> }<o:p></o:p> <o:p> </o:p> if (!m_eosReceived)<o:p></o:p> log_warning("Timeout while waiting for EOS");<o:p></o:p> <o:p> </o:p> gst_pad_add_probe(m_teePad, GST_PAD_PROBE_TYPE_IDLE,<o:p></o:p> [](GstPad* pad, GstPadProbeInfo* info, gpointer userData) -> GstPadProbeReturn<o:p></o:p> {<o:p></o:p> ArgusVideoCapture *self = reinterpret_cast<ArgusVideoCapture*>(userData);<o:p></o:p> log_info("Unlinking from tee pad");<o:p></o:p> GstPad* sinkPad = gst_element_get_static_pad(self->m_bin, "sink");<o:p></o:p> gst_pad_unlink(self->m_teePad, sinkPad);<o:p></o:p> gst_object_unref(sinkPad);<o:p></o:p> gst_object_unref(self->m_teePad);<o:p></o:p> log_info("Setting bin state to NULL");<o:p></o:p> gst_element_set_state(self->m_bin, GST_STATE_NULL);<o:p></o:p> log_info("Removing bin from pipeline");<o:p></o:p> gst_bin_remove(GST_BIN(self->m_pipeline), self->m_bin);<o:p></o:p> }, this, nullptr); <o:p></o:p> }<o:p></o:p> </div> </body> </html>