【论文解读】Region-of-interest determination and bit-rate conversion for H.264 video transcoding

介绍

题目： Region-of-interest determination and bit-rate conversion for H.264 video transcoding
级别： SCI
年份： 2013 年
机构： 台湾东华大学
资源下载： https://download.csdn.net/download/yanceyxin/88045881

结论： 在转码时间上，对比JM15.1，可以实现至少47.52%的时间节省。 在转码客观质量上，对比JM15.1，可以实现1.35～3.36dB的PSNR客观质量上的提升。

核心原理

概要

如图1所示，众所周知的实现比特率转码的方法包括缩小帧分辨率、丢弃帧和重新量化变换系数。

本文提出的算法
● 利用解码信息，综合考虑运动强度和肤色信息，提出了一种基于贝叶斯定理的感兴趣点检测方法。在估计ROI的 marcoblock (mb)的基础上，提出了码率转码的码率转换模型。提出的模型可以通过再量化方法将视频码流转码到目标码率，并将更多的编码位分配到更重要的区域。此外，本文还提出了一种闭环视频转码系统，该系统通过减少非roi mb中运动估计的处理来节省重新编码时间。

基于贝叶斯理论的ROI建立与肤色检测

为了自动确定ROI，采用该篇论文中参考论文[23]对视频中ROI区域MB进行建模。首先采用用户自定义的视觉注意图来分析ROI的概率分布。通过测试序列的解码信息和ROI的分布的关系，辅助信息包括了运动密度、皮肤颜色。根据贝叶斯公式1、2，可以依据辅助信息更新ROI概率。

人类的眼睛总是更多关注运动多于背景，考虑h264的可变块的尺寸，为了公平起见，将MV归一化为4x4的尺寸，然后再计算每个MB的运动强度MI，公式3。为了测试MI和ROI的关系，整帧的平均MI如公式4定义。

然而，仍然有一些ROI是低运动的，为了准确分割出ROI，人脸也引起注意，肤色检测可以有效的检测出人脸，根据参考论文[24]中的方法直接根据Cb和Cr来确定。每个像素是否满足Cb、Cr平面上的上、下二次函数，将被标记为肤色。根据ROI和肤色颜色关系，额外的辅助信息将被用来在低运动下的ROI的确定，具体流程如图3。

二次量化模型建立

一帧的总的编码bits数包含如公式5，残差数据在视频流中占据了主要数据。

找到bitrate、非零量化系数（NZTC）和QP的关系，建立bitrate变换模型。具体分为I帧的码率变换模型和P帧的码率变换模型。I帧对应的码率模型如公式6和7，P帧对应的码率模型如公式8和9，涉及到公式系数实验数据在原论文中体现。

H264码率转码器的框架

码率转码器
● 公式10-13来实现视频码率转码的整个过程，根据解码获取的码率（bitrate）、非零量化系数（NZTC）和QP来确定编码的QP值，如公式10-13。

图9展示了该论文提出的整个转码系统的体系。

模型参数训练过程

针对不同的应用，不同视频序列有不同的特点。因此，在使用这些比特率转换模型之前，需要对输入序列的模型参数进行训练。我们为第一编码帧设置I帧，为第二编码帧设置P帧。QP数据设置为25、30、35和40进行预处理编码。采用曲线拟合方法求解模型参数。尽管训练过程会产生一些开销，但这可以促进精确的比特率转换模型。

基于视频的ROI码率转码器

对于低比特率的视频比特流传输，一般的重量化方法会显著降低整个帧的视觉质量。为了解决这个问题，应该在用户感兴趣的区域分配更多的编码bit数。因此，需要一种自动的ROI分割算法。结合前面提到的ROI分割，该论文提出了一种基于ROI的码率转码器来保持ROI 中MBs的视频质量。

如公式14-17，根据每个MB的重要性来分配不同的编码bit数。首先，式14计算转码后当前帧的估计总编码bit数，然后由式15具体分配到每个MB。此外，为了降低转码过程中编码的复杂度，我们对非ROI中的 MBs的解码模式进行了复用，并利用ROI 中的MBs全模式来保持视觉质量。此外，H.264/AVC编码标准支持skip模式，以提高压缩效率，该论文利用了这skip模式。简而言之，通过忽略非ROI中 MBs的运动估计和模式决策，因此减少了转码时间。

实验结果

具体的实验数据如原论文所述。