Hey just an update for anybody else in case they have the same problem. I fixed what was happening. It had a couple of problems. One was my makefile, according to some old post i found the name of the .la/.so has to be the same as what you call your filter. So if your plugin is named gstmyfilter.cpp the plugin_LTLIBRARIES should have libgstmyfilter.la. Adding the extra files to sources and the headers to noinst_HEADERS was also fine. Im thinking the segfault was some weird stuff happening in my code because everything got fixed after i changed some stuff. 
<pre>
<code>
# Note: plugindir is set in configure

##############################################################################
# TODO: change libgstmyfilter.la to something else, e.g. libmysomething.la     #
##############################################################################
plugin_LTLIBRARIES = libgstmyfilter.la

##############################################################################
# TODO: for the next set of variables, name the prefix if you named the .la, #
#  e.g. libmysomething.la => libmysomething_la_SOURCES                       #
#                            libmysomething_la_CFLAGS                        #
#                            libmysomething_la_LIBADD                        #
#                            libmysomething_la_LDFLAGS                       #
##############################################################################

## Plugin 1

# sources used to compile this plug-in
# sources used to compile this plug-in
libgstmyfilter_la_SOURCES = gstmyfilter.cpp gstmyfilter.h Calibration.cpp MlDetection.cpp PersonDetection.cpp ConfigParsing.cpp dataset.cpp OpticalFlowFeatures.cpp ParticleFilter.cpp Utils.cpp 
OPENCV_CFLAGS = `pkg-config --cflags opencv`
OPENCV_LIBS = `pkg-config --libs opencv`

# # compiler and linker flags used to compile this plugin, set in configure.ac

libgstmyfilter_la_CXXFLAGS = $(GST_CFLAGS) $(OPENCV_CFLAGS)
libgstmyfilter_la_LIBADD = $(GST_LIBS) 
libgstmyfilter_la_LDFLAGS = $(GST_PLUGIN_LDFLAGS) $(OPENCV_LIBS)
libgstmyfilter_la_LIBTOOLFLAGS = --tag=disable-static
# # headers we need but don't want installed
noinst_HEADERS = MlDetection.h PersonDetection.hpp ConfigParsing.hpp dataset.h OpticalFlowFeatures.hpp ParticleFilter.hpp  Utils.hpp Calibration.hpp
</code>
</pre>

I also made some changes to my configure.ac file. But they were minor so i dont think that will be the case for anybody else with the same problems. 

        
        
        
<br/><hr align="left" width="300" />
Sent from the <a href="http://gstreamer-devel.966125.n4.nabble.com/">GStreamer-devel mailing list archive</a> at Nabble.com.<br/>