<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-15">
<meta name="Generator" content="Microsoft Exchange Server">
<!-- converted from text --><style><!-- .EmailQuote { margin-left: 1pt; padding-left: 4pt; border-left: #800000 2px solid; } --></style>
</head>
<body>
<meta content="text/html; charset=UTF-8">
<style type="text/css" style="">
<!--
p
        {margin-top:0;
        margin-bottom:0}
-->
</style>
<div dir="ltr">
<div id="x_divtagdefaultwrapper" style="font-size:12pt; color:#000000; background-color:#FFFFFF; font-family:Calibri,Arial,Helvetica,sans-serif">
<p>As discussed, we will improve this in a separate patch later.</p>
<p><br>
</p>
<p>Regards,</p>
<p>Boyuan</p>
</div>
<hr tabindex="-1" style="display:inline-block; width:98%">
<div id="x_divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" color="#000000" style="font-size:11pt"><b>From:</b> Christian König <deathsimple@vodafone.de><br>
<b>Sent:</b> July 1, 2016 9:03:13 AM<br>
<b>To:</b> Zhang, Boyuan; mesa-dev@lists.freedesktop.org<br>
<b>Subject:</b> Re: [PATCH 08/12] st/va: add functions for VAAPI encode</font>
<div> </div>
</div>
</div>
<font size="2"><span style="font-size:10pt;">
<div class="PlainText">Am 30.06.2016 um 20:30 schrieb Boyuan Zhang:<br>
> Signed-off-by: Boyuan Zhang <boyuan.zhang@amd.com><br>
> ---<br>
>   src/gallium/state_trackers/va/buffer.c     |   6 +<br>
>   src/gallium/state_trackers/va/picture.c    | 170 ++++++++++++++++++++++++++++-<br>
>   src/gallium/state_trackers/va/va_private.h |   3 +<br>
>   3 files changed, 177 insertions(+), 2 deletions(-)<br>
><br>
> diff --git a/src/gallium/state_trackers/va/buffer.c b/src/gallium/state_trackers/va/buffer.c<br>
> index 7d3167b..dfcebbe 100644<br>
> --- a/src/gallium/state_trackers/va/buffer.c<br>
> +++ b/src/gallium/state_trackers/va/buffer.c<br>
> @@ -133,6 +133,12 @@ vlVaMapBuffer(VADriverContextP ctx, VABufferID buf_id, void **pbuff)<br>
>         if (!buf->derived_surface.transfer || !*pbuff)<br>
>            return VA_STATUS_ERROR_INVALID_BUFFER;<br>
>   <br>
> +      if (buf->type == VAEncCodedBufferType) {<br>
> +         ((VACodedBufferSegment*)buf->data)->buf = *pbuff;<br>
> +         ((VACodedBufferSegment*)buf->data)->size = buf->coded_size;<br>
> +         ((VACodedBufferSegment*)buf->data)->next = NULL;<br>
> +         *pbuff = buf->data;<br>
> +      }<br>
>      } else {<br>
>         pipe_mutex_unlock(drv->mutex);<br>
>         *pbuff = buf->data;<br>
> diff --git a/src/gallium/state_trackers/va/picture.c b/src/gallium/state_trackers/va/picture.c<br>
> index 89ac024..26205b1 100644<br>
> --- a/src/gallium/state_trackers/va/picture.c<br>
> +++ b/src/gallium/state_trackers/va/picture.c<br>
> @@ -78,7 +78,8 @@ vlVaBeginPicture(VADriverContextP ctx, VAContextID context_id, VASurfaceID rende<br>
>         return VA_STATUS_SUCCESS;<br>
>      }<br>
>   <br>
> -   context->decoder->begin_frame(context->decoder, context->target, &context->desc.base);<br>
> +   if (context->decoder->entrypoint != PIPE_VIDEO_ENTRYPOINT_ENCODE)<br>
> +      context->decoder->begin_frame(context->decoder, context->target, &context->desc.base);<br>
>   <br>
>      return VA_STATUS_SUCCESS;<br>
>   }<br>
> @@ -278,6 +279,140 @@ handleVASliceDataBufferType(vlVaContext *context, vlVaBuffer *buf)<br>
>         num_buffers, (const void * const*)buffers, sizes);<br>
>   }<br>
>   <br>
> +static VAStatus<br>
> +handleVAEncMiscParameterTypeRateControl(vlVaContext *context, VAEncMiscParameterBuffer *misc)<br>
> +{<br>
> +   VAEncMiscParameterRateControl *rc = (VAEncMiscParameterRateControl *)misc->data;<br>
> +   if (context->desc.h264enc.rate_ctrl.rate_ctrl_method ==<br>
> +       PIPE_H264_ENC_RATE_CONTROL_METHOD_CONSTANT)<br>
> +      context->desc.h264enc.rate_ctrl.target_bitrate = rc->bits_per_second;<br>
> +   else<br>
> +      context->desc.h264enc.rate_ctrl.target_bitrate = rc->bits_per_second * rc->target_percentage;<br>
> +   context->desc.h264enc.rate_ctrl.peak_bitrate = rc->bits_per_second;<br>
> +   if (context->desc.h264enc.rate_ctrl.target_bitrate < 2000000)<br>
> +      context->desc.h264enc.rate_ctrl.vbv_buffer_size = MIN2((context->desc.h264enc.rate_ctrl.target_bitrate * 2.75), 2000000);<br>
> +   else<br>
> +      context->desc.h264enc.rate_ctrl.vbv_buffer_size = context->desc.h264enc.rate_ctrl.target_bitrate;<br>
> +<br>
> +   return VA_STATUS_SUCCESS;<br>
> +}<br>
> +<br>
> +static VAStatus<br>
> +handleVAEncSequenceParameterBufferType(vlVaDriver *drv, vlVaContext *context, vlVaBuffer *buf)<br>
> +{<br>
> +   VAEncSequenceParameterBufferH264 *h264 = (VAEncSequenceParameterBufferH264 *)buf->data;<br>
> +   if (!context->decoder) {<br>
> +      context->templat.max_references = h264->max_num_ref_frames;<br>
> +      context->templat.level = h264->level_idc;<br>
> +      context->decoder = drv->pipe->create_video_codec(drv->pipe, &context->templat);<br>
> +      if (!context->decoder)<br>
> +         return VA_STATUS_ERROR_ALLOCATION_FAILED;<br>
> +   }<br>
> +   context->desc.h264enc.gop_size = h264->intra_idr_period;<br>
> +   return VA_STATUS_SUCCESS;<br>
> +}<br>
> +<br>
> +static VAStatus<br>
> +handleVAEncMiscParameterBufferType(vlVaContext *context, vlVaBuffer *buf)<br>
> +{<br>
> +   VAStatus vaStatus = VA_STATUS_SUCCESS;<br>
> +   VAEncMiscParameterBuffer *misc;<br>
> +   misc = buf->data;<br>
> +<br>
> +   switch (misc->type) {<br>
> +   case VAEncMiscParameterTypeRateControl:<br>
> +      vaStatus = handleVAEncMiscParameterTypeRateControl(context, misc);<br>
> +      break;<br>
> +<br>
> +   default:<br>
> +      break;<br>
> +   }<br>
> +<br>
> +   return vaStatus;<br>
> +}<br>
> +<br>
> +static VAStatus<br>
> +handleVAEncPictureParameterBufferType(vlVaDriver *drv, vlVaContext *context, vlVaBuffer *buf)<br>
> +{<br>
> +   VAEncPictureParameterBufferH264 *h264;<br>
> +   vlVaBuffer *coded_buf;<br>
> +<br>
> +   h264 = buf->data;<br>
> +   context->desc.h264enc.frame_num = h264->frame_num;<br>
> +   context->desc.h264enc.not_referenced = false;<br>
> +   context->desc.h264enc.is_idr = (h264->pic_fields.bits.idr_pic_flag == 1);<br>
> +   context->desc.h264enc.pic_order_cnt = h264->CurrPic.TopFieldOrderCnt / 2;<br>
> +   if (context->desc.h264enc.is_idr)<br>
> +      context->desc.h264enc.i_remain = 1;<br>
> +   else<br>
> +      context->desc.h264enc.i_remain = 0;<br>
> +<br>
> +   context->desc.h264enc.p_remain = context->desc.h264enc.gop_size - context->desc.h264enc.gop_cnt - context->desc.h264enc.i_remain;<br>
> +<br>
> +   coded_buf = handle_table_get(drv->htab, h264->coded_buf);<br>
> +   coded_buf->derived_surface.resource = pipe_buffer_create(drv->pipe->screen, PIPE_BIND_VERTEX_BUFFER,<br>
> +                                         PIPE_USAGE_STREAM, coded_buf->size);<br>
> +   context->coded_buf = coded_buf;<br>
> +<br>
> +   context->desc.h264enc.frame_idx[h264->CurrPic.picture_id] = h264->frame_num;<br>
> +   if (context->desc.h264enc.is_idr)<br>
> +      context->desc.h264enc.picture_type = PIPE_H264_ENC_PICTURE_TYPE_IDR;<br>
> +   else<br>
> +      context->desc.h264enc.picture_type = PIPE_H264_ENC_PICTURE_TYPE_P;<br>
> +<br>
> +   context->desc.h264enc.frame_num_cnt++;<br>
> +   context->desc.h264enc.gop_cnt++;<br>
> +   if (context->desc.h264enc.gop_cnt == context->desc.h264enc.gop_size)<br>
> +      context->desc.h264enc.gop_cnt = 0;<br>
> +<br>
> +   return VA_STATUS_SUCCESS;<br>
> +}<br>
> +<br>
> +static VAStatus<br>
> +handleVAEncSliceParameterBufferType(vlVaDriver *drv, vlVaContext *context, vlVaBuffer *buf)<br>
> +{<br>
> +   VAEncSliceParameterBufferH264 *h264;<br>
> +<br>
> +   h264 = buf->data;<br>
> +   context->desc.h264enc.ref_idx_l0 = VA_INVALID_ID;<br>
> +   context->desc.h264enc.ref_idx_l1 = VA_INVALID_ID;<br>
> +   context->desc.h264enc.has_ref_pic_list = false;<br>
> +<br>
> +   for (int i = 0; i < 32; i++) {<br>
> +      if (h264->RefPicList0[i].picture_id == VA_INVALID_ID)<br>
> +         context->desc.h264enc.ref_pic_list_0[i] = VA_INVALID_ID;<br>
> +      else {<br>
> +         context->desc.h264enc.ref_pic_list_0[i] = context->desc.h264enc.frame_idx[h264->RefPicList0[i].picture_id];<br>
> +         if (context->desc.h264enc.ref_idx_l0 == VA_INVALID_ID)<br>
> +            context->desc.h264enc.ref_idx_l0 = context->desc.h264enc.frame_idx[h264->RefPicList0[i].picture_id];<br>
> +         context->desc.h264enc.has_ref_pic_list = true;<br>
> +      }<br>
> +      if (h264->RefPicList1[i].picture_id == VA_INVALID_ID || h264->slice_type != 1)<br>
> +         context->desc.h264enc.ref_pic_list_1[i] = VA_INVALID_ID;<br>
> +      else {<br>
> +         context->desc.h264enc.ref_pic_list_1[i] = context->desc.h264enc.frame_idx[h264->RefPicList1[i].picture_id];<br>
> +         if (context->desc.h264enc.ref_idx_l1 == VA_INVALID_ID)<br>
> +            context->desc.h264enc.ref_idx_l1 = context->desc.h264enc.frame_idx[h264->RefPicList1[i].picture_id];<br>
> +         context->desc.h264enc.has_ref_pic_list = true;<br>
> +      }<br>
> +   }<br>
> +<br>
> +   if (h264->slice_type == 1)<br>
> +      context->desc.h264enc.picture_type = PIPE_H264_ENC_PICTURE_TYPE_B;<br>
> +   else if (h264->slice_type == 0)<br>
> +      context->desc.h264enc.picture_type = PIPE_H264_ENC_PICTURE_TYPE_P;<br>
> +   else if (h264->slice_type == 2) {<br>
> +      if (context->desc.h264enc.is_idr){<br>
> +         context->desc.h264enc.picture_type = PIPE_H264_ENC_PICTURE_TYPE_IDR;<br>
> +         context->desc.h264enc.idr_pic_id++;<br>
> +        } else<br>
> +         context->desc.h264enc.picture_type = PIPE_H264_ENC_PICTURE_TYPE_I;<br>
> +   } else<br>
> +      context->desc.h264enc.picture_type = PIPE_H264_ENC_PICTURE_TYPE_SKIP;<br>
> +<br>
> +   return VA_STATUS_SUCCESS;<br>
> +}<br>
> +<br>
>   VAStatus<br>
>   vlVaRenderPicture(VADriverContextP ctx, VAContextID context_id, VABufferID *buffers, int num_buffers)<br>
>   {<br>
> @@ -328,6 +463,22 @@ vlVaRenderPicture(VADriverContextP ctx, VAContextID context_id, VABufferID *buff<br>
>            vaStatus = vlVaHandleVAProcPipelineParameterBufferType(drv, context, buf);<br>
>            break;<br>
>   <br>
> +      case VAEncSequenceParameterBufferType:<br>
> +         vaStatus = handleVAEncSequenceParameterBufferType(drv, context, buf);<br>
> +         break;<br>
> +<br>
> +      case VAEncMiscParameterBufferType:<br>
> +         vaStatus = handleVAEncMiscParameterBufferType(context, buf);<br>
> +         break;<br>
> +<br>
> +      case VAEncPictureParameterBufferType:<br>
> +         vaStatus = handleVAEncPictureParameterBufferType(drv, context, buf);<br>
> +         break;<br>
> +<br>
> +      case VAEncSliceParameterBufferType:<br>
> +         vaStatus = handleVAEncSliceParameterBufferType(drv, context, buf);<br>
> +         break;<br>
> +<br>
>         default:<br>
>            break;<br>
>         }<br>
> @@ -342,6 +493,9 @@ vlVaEndPicture(VADriverContextP ctx, VAContextID context_id)<br>
>   {<br>
>      vlVaDriver *drv;<br>
>      vlVaContext *context;<br>
> +   vlVaBuffer *coded_buf;<br>
> +   unsigned int coded_size;<br>
> +   void *feedback;<br>
>   <br>
>      if (!ctx)<br>
>         return VA_STATUS_ERROR_INVALID_CONTEXT;<br>
> @@ -365,7 +519,19 @@ vlVaEndPicture(VADriverContextP ctx, VAContextID context_id)<br>
>      }<br>
>   <br>
>      context->mpeg4.frame_num++;<br>
> -   context->decoder->end_frame(context->decoder, context->target, &context->desc.base);<br>
> +<br>
> +   if (context->decoder->entrypoint == PIPE_VIDEO_ENTRYPOINT_ENCODE) {<br>
> +      coded_buf = context->coded_buf;<br>
> +      context->decoder->begin_frame(context->decoder, context->target, &context->desc.base);<br>
> +      context->decoder->encode_bitstream(context->decoder, context->target,<br>
> +                                         coded_buf->derived_surface.resource, &feedback);<br>
> +      context->decoder->end_frame(context->decoder, context->target, &context->desc.base);<br>
> +      context->decoder->flush(context->decoder);<br>
> +      context->decoder->get_feedback(context->decoder, feedback, &coded_size);<br>
> +      coded_buf->coded_size = coded_size;<br>
<br>
This is really inefficient to do here.<br>
<br>
Basically you drain the pipeline and wait for the just send picture to <br>
be completed encoded before you return.<br>
<br>
Additional to that we should keep the calls to begin_frame() and <br>
end_frame() where they are. If some parameters are not yet filled in we <br>
should modify the backend to handle that instead.<br>
<br>
Christian.<br>
<br>
> +   }<br>
> +   else<br>
> +      context->decoder->end_frame(context->decoder, context->target, &context->desc.base);<br>
>   <br>
>      return VA_STATUS_SUCCESS;<br>
>   }<br>
> diff --git a/src/gallium/state_trackers/va/va_private.h b/src/gallium/state_trackers/va/va_private.h<br>
> index ad9010a..6d3ac38 100644<br>
> --- a/src/gallium/state_trackers/va/va_private.h<br>
> +++ b/src/gallium/state_trackers/va/va_private.h<br>
> @@ -229,6 +229,7 @@ typedef struct {<br>
>         struct pipe_vc1_picture_desc vc1;<br>
>         struct pipe_h264_picture_desc h264;<br>
>         struct pipe_h265_picture_desc h265;<br>
> +      struct pipe_h264_enc_picture_desc h264enc;<br>
>      } desc;<br>
>   <br>
>      struct {<br>
> @@ -241,6 +242,7 @@ typedef struct {<br>
>      } mpeg4;<br>
>   <br>
>      struct vl_deint_filter *deint;<br>
> +   struct vlVaBuffer *coded_buf;<br>
>   } vlVaContext;<br>
>   <br>
>   typedef struct {<br>
> @@ -260,6 +262,7 @@ typedef struct {<br>
>      } derived_surface;<br>
>      unsigned int export_refcount;<br>
>      VABufferInfo export_state;<br>
> +   unsigned int coded_size;<br>
>   } vlVaBuffer;<br>
>   <br>
>   typedef struct {<br>
<br>
</div>
</span></font>
</body>
</html>