<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=us-ascii"><meta name=Generator content="Microsoft Word 14 (filtered medium)"><style></style></head><body lang=DE link=blue vlink=purple><div class=WordSection1>Dear Members,<o:p></o:p><o:p> </o:p>i am trying to change a glshader element at runtime in a native Gstreamer application.<o:p></o:p><o:p> </o:p>The idea is to convert a rtsp Stream to an side-by-side view for a android google cardboard VR device.<o:p></o:p>I want to implement headtracking as well and therefore want to change the opengl fragment dynamically based on head position.<o:p></o:p><o:p> </o:p>The code below works for a static .frag file.<o:p></o:p><o:p> </o:p>QUESTION: How can i change for example <o:p></o:p>const vec2 leftCenter = vec2(0.25, 0.4);<o:p></o:p>const vec2 rightCenter = vec2(0.75, 0.4);<o:p></o:p>DYNAMICALLY during runtime in the native code?<o:p></o:p><o:p> </o:p>There used tob o something like gstglfiltershader, but i can not find a similar functionality in the current 1.4.x releases.<o:p></o:p><o:p> </o:p>Thanks!!!!<o:p></o:p>Kind regards<o:p></o:p>Christian<o:p></o:p><o:p> </o:p><o:p> </o:p>The current Pipeline is set up as follows (JNI Code for an Android App).<o:p></o:p>This <o:p></o:p><o:p> </o:p><o:p> </o:p> ….<o:p></o:p> // rtspsrc location=rtsp://192.168.137.240:8554/test latency=0 drop-on-latency=true ! application/x-rtp, payload=96 ! rtph264depay ! decodebin ! glimagesink sync=false<o:p></o:p> data->source = gst_element_factory_make ("rtspsrc","rtspsrc");<o:p></o:p> g_object_set(G_OBJECT (data->source),"location",pipelineParameterFromJava,"latency",0,"drop-on-latency",true,NULL);<o:p></o:p><o:p> </o:p> data->pipeline = gst_pipeline_new ("fpv-pipeline");<o:p></o:p> data->filter=gst_element_factory_make("capsfilter","filter");<o:p></o:p> data->depayloader = gst_element_factory_make ("rtph264depay","rtph264depay");<o:p></o:p> data->decoder = gst_element_factory_make ("decodebin","decodebin");<o:p></o:p> data->distortion = gst_element_factory_make ("glshader","glshader");<o:p></o:p> data->video_sink = gst_element_factory_make ("glimagesink","glimagesink");<o:p></o:p><o:p> </o:p> filtercaps = gst_caps_new_simple ("application/x-rtp","payload", G_TYPE_INT, 96,NULL);<o:p></o:p> g_object_set (G_OBJECT (data->filter), "caps", filtercaps, NULL);<o:p></o:p> g_object_set (G_OBJECT (data->distortion), "location", "/data/data/com.lonestar.groundpi/files/distortion.frag", NULL);<o:p></o:p> gst_caps_unref (filtercaps);<o:p></o:p> g_object_set(G_OBJECT (data->video_sink),"sync",false,NULL);<o:p></o:p><o:p> </o:p> if (!data->pipeline || !data->source || !data->filter || !data->depayloader || !data->decoder || !data->video_sink || !data->distortion) {<o:p></o:p> g_printerr ("One element could not be created. Exiting.\n");<o:p></o:p> return -1;<o:p></o:p> }<o:p></o:p><o:p> </o:p> gst_bin_add_many (GST_BIN (data->pipeline), data->source, data->filter, data->depayloader, data->decoder, data->video_sink, data->distortion, NULL);<o:p></o:p> gst_element_link_many (data->filter, data->depayloader, data->decoder, NULL);<o:p></o:p> gst_element_link_many (data->distortion, data->video_sink, NULL);<o:p></o:p> g_signal_connect (data->source, "pad-added", G_CALLBACK (cb_new_pad), data->filter);<o:p></o:p> g_signal_connect (data->decoder, "pad-added", G_CALLBACK (cb_new_pad), data->distortion);<o:p></o:p>….<o:p></o:p><o:p> </o:p><o:p> </o:p><o:p> </o:p><o:p> </o:p>Distortion.frag:<o:p></o:p><o:p> </o:p>#extension GL_ARB_texture_rectangle : enable<o:p></o:p>precision mediump float;<o:p></o:p>varying vec2 v_texcoord;<o:p></o:p>uniform sampler2D tex;<o:p></o:p> <o:p></o:p>const vec4 kappa = vec4(2.75,1.7,0.5,0.5);<o:p></o:p>const float screen_width = 1920.0;<o:p></o:p>const float screen_height = 1080.0;<o:p></o:p>const float scaleFactor = 0.62;<o:p></o:p>const vec2 leftCenter = vec2(0.25, 0.4);<o:p></o:p>const vec2 rightCenter = vec2(0.75, 0.4);<o:p></o:p>const float separation = -0.025;<o:p></o:p>const bool stereo_input = false;<o:p></o:p><o:p> </o:p> <o:p></o:p>// Scales input texture coordinates for distortion.<o:p></o:p>vec2 hmdWarp(vec2 LensCenter, vec2 texCoord, vec2 Scale, vec2 ScaleIn) {<o:p></o:p>vec2 theta = (texCoord - LensCenter) * ScaleIn;<o:p></o:p>float rSq = theta.x * theta.x + theta.y * theta.y;<o:p></o:p>vec2 rvector = theta * (kappa.x + kappa.y * rSq + kappa.z * rSq * rSq + kappa.w * rSq * rSq * rSq);<o:p></o:p>vec2 tc = LensCenter + Scale * rvector;<o:p></o:p>return tc;<o:p></o:p>}<o:p></o:p> <o:p></o:p>bool validate(vec2 tc, int eye) {<o:p></o:p>if ( stereo_input ) {<o:p></o:p>//keep within bounds of texture<o:p></o:p>if ((eye == 1 && (tc.x < 0.0 || tc.x > 0.5)) ||<o:p></o:p>(eye == 0 && (tc.x < 0.5 || tc.x > 1.0)) ||<o:p></o:p>tc.y < 0.0 || tc.y > 1.0) {<o:p></o:p>return false;<o:p></o:p>}<o:p></o:p>} else {<o:p></o:p>if ( tc.x < 0.0 || tc.x > 1.0 ||<o:p></o:p>tc.y < 0.0 || tc.y > 1.0 ) {<o:p></o:p>return false;<o:p></o:p>}<o:p></o:p>}<o:p></o:p>return true;<o:p></o:p>}<o:p></o:p> <o:p></o:p>void main() {<o:p></o:p>float as = float(screen_width / 2.0) / float(screen_height);<o:p></o:p>vec2 Scale = vec2(0.25, as);<o:p></o:p>vec2 ScaleIn = vec2(2.0 * scaleFactor, 1.0 / as * scaleFactor);<o:p></o:p> <o:p></o:p>vec2 texCoord = v_texcoord;<o:p></o:p>vec2 tc = vec2(0);<o:p></o:p>vec4 color = vec4(0);<o:p></o:p>if ( texCoord.x < 0.5 ) {<o:p></o:p>texCoord.x += separation;<o:p></o:p>texCoord = hmdWarp(leftCenter, texCoord, Scale, ScaleIn );<o:p></o:p>if ( !stereo_input ) {<o:p></o:p>texCoord.x *= 2.0;<o:p></o:p>}<o:p></o:p>color = texture2D(tex, texCoord);<o:p></o:p>if ( !validate(texCoord, 0) ) {<o:p></o:p>color = vec4(0);<o:p></o:p>}<o:p></o:p>} else {<o:p></o:p>texCoord.x -= separation;<o:p></o:p>texCoord = hmdWarp(rightCenter, texCoord, Scale, ScaleIn);<o:p></o:p>if ( !stereo_input ) {<o:p></o:p>texCoord.x = (texCoord.x - 0.5) * 2.0;<o:p></o:p>}<o:p></o:p>color = texture2D(tex, texCoord);<o:p></o:p>if ( !validate(texCoord, 1) ) {<o:p></o:p>color = vec4(0);<o:p></o:p>}<o:p></o:p>}<o:p></o:p>gl_FragColor = color;<o:p></o:p>}<o:p></o:p><o:p> </o:p><o:p> </o:p><o:p> </o:p><o:p> </o:p></div></body></html>