On 1 November 2011 12:48, Marek Olšák <span dir="ltr">&lt;<a href="mailto:maraeo@gmail.com" target="_blank">maraeo@gmail.com</a>&gt;</span> wrote:<br><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

This adds a function that takes an array of varyings from<br>
glTranformFeedbackVaryingsEXT and generates gl_transform_feedback_info,<br>
which is supposed to be consumed by drivers. Useful for ir_to_mesa<br>
and glsl_to_tgsi.<br>
<br>
v2:<br>
- changes per Kenneth Graunke&#39;s comment<br>
- expose the TFB varying parser in ir.h<br>
---<br>
 src/glsl/Makefile                           |    1 +<br>
 src/glsl/SConscript                         |    1 +<br>
 src/glsl/ir.h                               |   35 ++++<br>
 src/glsl/ir_set_transform_feedback_outs.cpp |  268 +++++++++++++++++++++++++++<br>
 src/mesa/main/mtypes.h                      |   12 ++<br>
 5 files changed, 317 insertions(+), 0 deletions(-)<br>
 create mode 100644 src/glsl/ir_set_transform_feedback_outs.cpp<br>
<br>
diff --git a/src/glsl/Makefile b/src/glsl/Makefile<br>
index 504f1fb..f3b8e2e 100644<br>
--- a/src/glsl/Makefile<br>
+++ b/src/glsl/Makefile<br>
@@ -48,6 +48,7 @@ CXX_SOURCES = \<br>
        ir_reader.cpp \<br>
        ir_rvalue_visitor.cpp \<br>
        ir_set_program_inouts.cpp \<br>
+       ir_set_transform_feedback_outs.cpp \<br>
        ir_validate.cpp \<br>
        ir_variable.cpp \<br>
        ir_variable_refcount.cpp \<br>
diff --git a/src/glsl/SConscript b/src/glsl/SConscript<br>
index 09c7edb..ccd93fe 100644<br>
--- a/src/glsl/SConscript<br>
+++ b/src/glsl/SConscript<br>
@@ -59,6 +59,7 @@ glsl_sources = [<br>
     &#39;ir_reader.cpp&#39;,<br>
     &#39;ir_rvalue_visitor.cpp&#39;,<br>
     &#39;ir_set_program_inouts.cpp&#39;,<br>
+    &#39;ir_set_transform_feedback_outs.cpp&#39;,<br>
     &#39;ir_validate.cpp&#39;,<br>
     &#39;ir_variable.cpp&#39;,<br>
     &#39;ir_variable_refcount.cpp&#39;,<br>
diff --git a/src/glsl/ir.h b/src/glsl/ir.h<br>
index 404d4cf..f7eaa0a 100644<br>
--- a/src/glsl/ir.h<br>
+++ b/src/glsl/ir.h<br>
@@ -1696,4 +1696,39 @@ extern char *<br>
 prototype_string(const glsl_type *return_type, const char *name,<br>
                 exec_list *parameters);<br>
<br>
+/**<br>
+ * Set transform feedback output locations and other related info<br>
+ * in gl_program.<br>
+ *<br>
+ * \param shaderprog  The inputs are the parameters<br>
+ *                    from glTransformFeedbackVaryings expected<br>
+ *                    to be in gl_shader_program::TransformFeedback.<br>
+ *<br>
+ * \param info        Where the resulting info is stored.<br>
+ */<br>
+extern void<br>
+do_set_transform_feedback_outs(exec_list *instructions,<br>
+                               struct gl_shader_program *shaderprog,<br>
+                               struct gl_transform_feedback_info *info);<br>
+<br>
+/**<br>
+ * The result of parse_tfeedback_decl.<br>
+ */<br>
+struct tfeedback_decl {<br>
+   char *name;<br>
+   bool is_array;<br>
+   unsigned array_index;<br>
+};<br>
+<br>
+/**<br>
+ * This expects expressions of the form &quot;var&quot; and &quot;var[i]&quot;,<br>
+ * where i is a literal.<br>
+ *<br>
+ * \param mem_ctx    Ralloc context.<br>
+ * \param input      Input string to be parsed.<br>
+ * \param decl       Output structure.<br>
+ */<br>
+bool parse_tfeedback_decl(const void *mem_ctx, const char *input,<br>
+                          struct tfeedback_decl *decl);<br>
+<br>
 #endif /* IR_H */<br>
diff --git a/src/glsl/ir_set_transform_feedback_outs.cpp b/src/glsl/ir_set_transform_feedback_outs.cpp<br>
new file mode 100644<br>
index 0000000..ec20108<br>
--- /dev/null<br>
+++ b/src/glsl/ir_set_transform_feedback_outs.cpp<br>
@@ -0,0 +1,268 @@<br>
+/*<br>
+ * Copyright © 2010 Intel Corporation<br>
+ * Copyright © 2011 Marek Olšák &lt;<a href="mailto:maraeo@gmail.com" target="_blank">maraeo@gmail.com</a>&gt;<br>
+ *<br>
+ * Permission is hereby granted, free of charge, to any person obtaining a<br>
+ * copy of this software and associated documentation files (the &quot;Software&quot;),<br>
+ * to deal in the Software without restriction, including without limitation<br>
+ * the rights to use, copy, modify, merge, publish, distribute, sublicense,<br>
+ * and/or sell copies of the Software, and to permit persons to whom the<br>
+ * Software is furnished to do so, subject to the following conditions:<br>
+ *<br>
+ * The above copyright notice and this permission notice (including the next<br>
+ * paragraph) shall be included in all copies or substantial portions of the<br>
+ * Software.<br>
+ *<br>
+ * THE SOFTWARE IS PROVIDED &quot;AS IS&quot;, WITHOUT WARRANTY OF ANY KIND, EXPRESS OR<br>
+ * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,<br>
+ * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL<br>
+ * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER<br>
+ * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING<br>
+ * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER<br>
+ * DEALINGS IN THE SOFTWARE.<br>
+ */<br>
+<br>
+/**<br>
+ * \file ir_set_transform_feedback_outs.cpp<br>
+ *<br>
+ * Used to obtain info about shader outputs from the GLSL IR<br>
+ * for transform feedback.<br>
+ * The driver codegen backend needs to know locations of the outputs<br>
+ * which are to be stored in transform feedback buffers and the number<br>
+ * of components each such output has.<br>
+ *<br>
+ * This is similar to ir_set_program_inouts.<br>
+ */ <br></blockquote><blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204, 204, 204);padding-left:1ex">
+<br>
+extern &quot;C&quot; {<br>
+#include &quot;program/hash_table.h&quot;<br>
+}<br>
+#include &quot;main/core.h&quot;<br>
+#include &quot;ir.h&quot;<br>
+#include &quot;ir_visitor.h&quot;<br>
+#include &quot;glsl_types.h&quot;<br>
+#include &lt;cmath&gt;<br>
+<br>
+<br>
+bool parse_tfeedback_decl(const void *mem_ctx, const char *input,<br>
+                          struct tfeedback_decl *decl)<br>
+{<br>
+   /* We don&#39;t have to be pedantic about what is a valid GLSL variable name,<br>
+    * because any variable with an invalid name can&#39;t exist in the IR anyway.<br>
+    */<br>
+<br>
+   const char *bracket = strrchr(input, &#39;[&#39;);<br>
+<br>
+   if (bracket) {<br>
+      decl-&gt;name = ralloc_strndup(mem_ctx, input, bracket - input);<br>
+      if (sscanf(bracket, &quot;[%u]&quot;, &amp;decl-&gt;array_index) == 1) {<br>
+         decl-&gt;is_array = true;<br>
+         return true; /* Found: &quot;var[i]&quot; */<br>
+      }<br>
+   } else {<br>
+      decl-&gt;name = ralloc_strdup(mem_ctx, input);<br>
+      return true;<br>
+   }<br>
+<br>
+   return false;<br>
+}<br></blockquote><div><br>For non-arrays, this function doesn&#39;t assign to decl-&gt;is_array or decl-&gt;array_index.  That&#39;s a problem, because its caller (ir_set_transform_feedback_outs::ir_set_transform_feedback_outs()) passes uninitialized memory for decl.  We could fix the problem by having ir_set_transform_feedback_outs::ir_set_transform_feedback_outs() initialize the memory first, but I would prefer if we fixed the problem by always assigning to all fields of decl, since we&#39;re effectively treating it as an output of this function.<br>

 </div><blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204, 204, 204);padding-left:1ex">
+<br>
+<br>
+class ir_set_transform_feedback_outs : public ir_hierarchical_visitor {<br>
+public:<br>
+   ir_set_transform_feedback_outs(struct gl_shader_program *shaderprog,<br>
+                                  struct gl_transform_feedback_info *info);<br>
+<br>
+   ~ir_set_transform_feedback_outs()<br>
+   {<br>
+      hash_table_dtor(this-&gt;ht);<br>
+      ralloc_free(this-&gt;mem_ctx);<br>
+   }<br>
+<br>
+   void finalize();<br>
+<br>
+   virtual ir_visitor_status visit_enter(ir_dereference_array *);<br>
+   virtual ir_visitor_status visit_enter(ir_function_signature *);<br>
+   virtual ir_visitor_status visit(ir_dereference_variable *);<br>
+   virtual ir_visitor_status visit(ir_variable *);<br>
+<br>
+private:<br>
+   void get_output(ir_variable *var, unsigned start_index,<br>
+                   unsigned matrix_cols, unsigned length);<br>
+<br>
+   void *mem_ctx;<br>
+   struct hash_table *ht;<br>
+   struct gl_transform_feedback_info *info;<br>
+   GLenum buffer_mode;<br>
+<br>
+   unsigned num_outputs;<br>
+   struct {<br>
+      struct tfeedback_decl decl;<br>
+      unsigned location;<br>
+      unsigned num_components;<br>
+      unsigned num_vectors; /* location+0 up to location+(num_vectors-1)<br>
+                               should be stored. */<br>
+   } output[MAX_PROGRAM_OUTPUTS];<br>
+};<br></blockquote><div><br>This visitor does a lot more work than I expected it would have to do.  I would have thought that it would be sufficient to iterate through the toplevel declarations in the IR, and just pick out the location assignments from there.  Why is it necessary to examine the whole IR tree to see which varyings are actually assigned to?<br>

<br>In fact, since assign_transform_feedback_varying_locations() is already walking the toplevel declarations when it assigns the locations, why can&#39;t we just record the locations there and do away with this visitor entirely?<br>

 </div><blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204, 204, 204);padding-left:1ex">
+<br>
+<br>
+ir_set_transform_feedback_outs::ir_set_transform_feedback_outs(<br>
+                                 struct gl_shader_program *shaderprog,<br>
+                                 struct gl_transform_feedback_info *info)<br>
+   : info(info), buffer_mode(shaderprog-&gt;TransformFeedback.BufferMode),<br>
+     num_outputs(0)<br>
+{<br>
+   GLuint num_names = shaderprog-&gt;TransformFeedback.NumVarying;<br>
+   GLchar **names = shaderprog-&gt;TransformFeedback.VaryingNames;<br>
+   unsigned i;<br>
+<br>
+   this-&gt;mem_ctx = ralloc_context(NULL);<br>
+   this-&gt;ht = hash_table_ctor(0,<br>
+                              hash_table_pointer_hash,<br>
+                              hash_table_pointer_compare);<br>
+<br>
+   /* Parse names. */<br>
+   for (i = 0; i &lt; num_names; i++) {<br>
+      if (!parse_tfeedback_decl(this-&gt;mem_ctx, names[i],<br>
+                                &amp;this-&gt;output[i].decl)) {<br>
+         /* shouldn&#39;t happen, the linker should have validated<br>
+          * all the inputs */<br>
+         assert(0);<br>
+         memset(&amp;this-&gt;output[i].decl, 0, sizeof(struct tfeedback_decl));<br>
+      }<br></blockquote><div><br>It seems strange that we parse the varyings both here and in the linker (see patch 3/3).  Couldn&#39;t we record the parse result the first time, and then refer to it here?  That would avoid the need for the assert(0).<br>

 </div><blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204, 204, 204);padding-left:1ex">
+   }<br>
+   this-&gt;num_outputs = num_names;<br>
+}<br>
+<br>
+void<br>
+ir_set_transform_feedback_outs::finalize()<br>
+{<br>
+   unsigned i, v, final_num_outs = 0;<br>
+<br>
+   for (i = 0; i &lt; this-&gt;num_outputs; i++) {<br>
+      for (v = 0; v &lt; this-&gt;output[i].num_vectors; v++) {<br>
+         info-&gt;Outputs[final_num_outs].OutputRegister =<br>
+               this-&gt;output[i].location + v;<br>
+         info-&gt;Outputs[final_num_outs].NumComponents =<br>
+               this-&gt;output[i].num_components;<br>
+         info-&gt;Outputs[final_num_outs].OutputBuffer =<br>
+               this-&gt;buffer_mode == GL_SEPARATE_ATTRIBS ? i : 0;<br>
+         final_num_outs++;<br></blockquote><div><br>What happens if one of the outputs is not assigned to by the vertex shader?  In that case this-&gt;output[i] will refer to uninitialized memory.<br> </div><blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204, 204, 204);padding-left:1ex">


+      }<br>
+   }<br>
+<br>
+   info-&gt;NumOutputs = final_num_outs;<br>
+}<br>
+<br>
+void<br>
+ir_set_transform_feedback_outs::get_output(ir_variable *var,<br>
+                                           unsigned start_index,<br>
+                                           unsigned matrix_cols,<br>
+                                           unsigned length)<br></blockquote><div><br>This function name seems misleading.  It doesn&#39;t get anything.  It stores data in this-&gt;output[] corresponding to the variable var.  Normally I would expect a function called &quot;get_output&quot; to return a data structure representing an output, and to have no side effects.<br>

 </div><blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204, 204, 204);padding-left:1ex">
+{<br>
+   unsigned i;<br>
+<br>
+   assert(var-&gt;mode == ir_var_out);<br>
+<br>
+   for (i = 0; i &lt; this-&gt;num_outputs; i++) {<br>
+      if (strcmp(var-&gt;name, this-&gt;output[i].<a href="http://decl.name" target="_blank">decl.name</a>) == 0) {<br>
+         if (var-&gt;type-&gt;is_array()) {<br>
+            /* Array variable */<br>
+            if (this-&gt;output[i].decl.is_array &amp;&amp;<br>
+                this-&gt;output[i].decl.array_index &gt;= start_index &amp;&amp;<br>
+                this-&gt;output[i].decl.array_index &lt; start_index+length) {<br>
+               this-&gt;output[i].location =<br>
+                     var-&gt;location +<br>
+                     this-&gt;output[i].decl.array_index * matrix_cols;<br>
+               this-&gt;output[i].num_components =<br>
+                     var-&gt;type-&gt;fields.array-&gt;vector_elements;<br>
+               this-&gt;output[i].num_vectors = matrix_cols;<br>
+            }<br>
+         } else {<br>
+            /* Regular variable (scalar, vector, or matrix) */<br>
+            this-&gt;output[i].location = var-&gt;location + start_index * matrix_cols;<br>
+            this-&gt;output[i].num_components = var-&gt;type-&gt;vector_elements;<br>
+            this-&gt;output[i].num_vectors = length * matrix_cols;<br></blockquote><div><br>In the non-array case, won&#39;t start_index always be 0 and length always be 1?<br> </div><blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204, 204, 204);padding-left:1ex">


+         }<br>
+      }<br>
+   }<br>
+}<br>
+<br>
+<br>
+ir_visitor_status<br>
+ir_set_transform_feedback_outs::visit(ir_dereference_variable *ir)<br>
+{<br>
+   if (hash_table_find(this-&gt;ht, ir-&gt;var) == NULL)<br>
+      return visit_continue;<br>
+<br>
+   if (ir-&gt;type-&gt;is_array()) {<br>
+      this-&gt;get_output(ir-&gt;var, 0, ir-&gt;type-&gt;fields.array-&gt;matrix_columns,<br>
+                       ir-&gt;type-&gt;length);<br>
+   } else {<br>
+      this-&gt;get_output(ir-&gt;var, 0, ir-&gt;type-&gt;matrix_columns, 1);<br>
+   }<br>
+<br>
+   return visit_continue;<br>
+}<br>
+<br>
+<br>
+ir_visitor_status<br>
+ir_set_transform_feedback_outs::visit_enter(ir_dereference_array *ir)<br>
+{<br>
+   ir_dereference_variable *deref_var;<br>
+   ir_constant *index = ir-&gt;array_index-&gt;as_constant();<br>
+   deref_var = ir-&gt;array-&gt;as_dereference_variable();<br>
+   ir_variable *var = NULL;<br>
+<br>
+   /* Check that we&#39;re dereferencing a shader out */<br>
+   if (deref_var)<br>
+      var = (ir_variable *)hash_table_find(this-&gt;ht, deref_var-&gt;var);<br>
+<br>
+   if (index &amp;&amp; var) {<br>
+      int mat_col = 1;<br>
+<br>
+      if (deref_var-&gt;type-&gt;is_array() &amp;&amp;<br>
+         deref_var-&gt;type-&gt;fields.array-&gt;is_matrix()) {<br>
+        mat_col = deref_var-&gt;type-&gt;fields.array-&gt;matrix_columns;<br>
+      }<br>
+<br>
+      this-&gt;get_output(var, index-&gt;value.i[0], mat_col, 1);<br>
+      return visit_continue_with_parent;<br></blockquote><div><br>This seems like it will do the wrong things for array dereferences that index into a matrix.  There are two cases to consider:<br><br>(a)<br>out mat4 x;<br>

x[2] = ...;<br><br>(b)<br>out mat4[4] x;<br>x[1][2] = ...;<br><br>In case (a) it seems like this code will call get_output(var, 2, 1, 1), which will cause get_output() to assign the wrong location for the matrix.  I think it should call get_output(var, 0, 4, 1).<br>

<br>In case (b) it seems like this code will call get_output(var, 1, 4, 1), which I think is ok.<br> </div><blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204, 204, 204);padding-left:1ex">


+   }<br>
+<br>
+   return visit_continue;<br>
+}<br>
+<br>
+<br>
+ir_visitor_status<br>
+ir_set_transform_feedback_outs::visit(ir_variable *ir)<br>
+{<br>
+   if (ir-&gt;mode == ir_var_out) {<br>
+      hash_table_insert(this-&gt;ht, ir, ir);<br>
+   }<br>
+<br>
+   return visit_continue;<br>
+}<br>
+<br>
+<br>
+ir_visitor_status<br>
+ir_set_transform_feedback_outs::visit_enter(ir_function_signature *ir)<br>
+{<br>
+   /* We don&#39;t want to descend into the function parameters and<br>
+    * consider them as shader inputs or outputs.<br>
+    */<br>
+   visit_list_elements(this, &amp;ir-&gt;body);<br>
+   return visit_continue_with_parent;<br>
+}<br>
+<br>
+<br>
+void<br>
+do_set_transform_feedback_outs(exec_list *instructions,<br>
+                               struct gl_shader_program *shaderprog,<br>
+                               struct gl_transform_feedback_info *info)<br>
+{<br>
+   ir_set_transform_feedback_outs v(shaderprog, info);<br>
+<br>
+   visit_list_elements(&amp;v, instructions);<br>
+   v.finalize();<br>
+}<br></blockquote><div><br>The patch series doesn&#39;t add any code that calls this function.  Is that planned for a future patch?<br> </div><blockquote class="gmail_quote" style="margin:0pt 0pt 0pt 0.8ex;border-left:1px solid rgb(204, 204, 204);padding-left:1ex">


diff --git a/src/mesa/main/mtypes.h b/src/mesa/main/mtypes.h<br>
index 3f3bc4e..1dadfdd 100644<br>
--- a/src/mesa/main/mtypes.h<br>
+++ b/src/mesa/main/mtypes.h<br>
@@ -1813,6 +1813,16 @@ struct prog_instruction;<br>
 struct gl_program_parameter_list;<br>
 struct gl_uniform_list;<br>
<br>
+/** Post-link transform feedback info. */<br>
+struct gl_transform_feedback_info {<br>
+   unsigned NumOutputs;<br>
+<br>
+   struct {<br>
+      unsigned OutputRegister;<br>
+      unsigned OutputBuffer;<br>
+      unsigned NumComponents;<br>
+   } Outputs[MAX_PROGRAM_OUTPUTS];<br>
+};<br>
<br>
 /**<br>
  * Base class for any kind of program object<br>
@@ -1837,6 +1847,8 @@ struct gl_program<br>
    GLbitfield SamplersUsed;   /**&lt; Bitfield of which samplers are used */<br>
    GLbitfield ShadowSamplers; /**&lt; Texture units used for shadow sampling. */<br>
<br>
+   /** Post-link transform feedback info. */<br>
+   struct gl_transform_feedback_info TransformFeedback;<br>
<br>
    /** Named parameters, constants, etc. from program text */<br>
    struct gl_program_parameter_list *Parameters;<br>
<span><font color="#888888">--<br>
1.7.4.1<br>
<br>
_______________________________________________<br>
mesa-dev mailing list<br>
<a href="mailto:mesa-dev@lists.freedesktop.org" target="_blank">mesa-dev@lists.freedesktop.org</a><br>
<a href="http://lists.freedesktop.org/mailman/listinfo/mesa-dev" target="_blank">http://lists.freedesktop.org/mailman/listinfo/mesa-dev</a><br>
</font></span></blockquote></div><br>