【论文解读】Region-of-interest determination and bit-rate conversion for H.264 video transcoding

介绍

题目: Region-of-interest determination and bit-rate conversion for H.264 video transcoding
级别: SCI
年份: 2013 年
机构: 台湾东华大学
资源下载: https://download.csdn.net/download/yanceyxin/88045881

结论: 在转码时间上,对比JM15.1,可以实现至少47.52%的时间节省。 在转码客观质量上,对比JM15.1,可以实现1.35~3.36dB的PSNR客观质量上的提升。

核心原理

概要

如图1所示,众所周知的实现比特率转码的方法包括缩小帧分辨率、丢弃帧和重新量化变换系数。
【论文解读】Region-of-interest determination and bit-rate conversion for H.264 video transcoding_第1张图片
本文提出的算法
● 利用解码信息,综合考虑运动强度和肤色信息,提出了一种基于贝叶斯定理的感兴趣点检测方法。在估计ROI的 marcoblock (mb)的基础上,提出了码率转码的码率转换模型。提出的模型可以通过再量化方法将视频码流转码到目标码率,并将更多的编码位分配到更重要的区域。此外,本文还提出了一种闭环视频转码系统,该系统通过减少非roi mb中运动估计的处理来节省重新编码时间。 【论文解读】Region-of-interest determination and bit-rate conversion for H.264 video transcoding_第2张图片

基于贝叶斯理论的ROI建立与肤色检测

为了自动确定ROI,采用该篇论文中参考论文[23]对视频中ROI区域MB进行建模。首先采用用户自定义的视觉注意图来分析ROI的概率分布。通过测试序列的解码信息和ROI的分布的关系,辅助信息包括了运动密度、皮肤颜色。根据贝叶斯公式1、2,可以依据辅助信息更新ROI概率。
【论文解读】Region-of-interest determination and bit-rate conversion for H.264 video transcoding_第3张图片

人类的眼睛总是更多关注运动多于背景,考虑h264的可变块的尺寸,为了公平起见,将MV归一化为4x4的尺寸,然后再计算每个MB的运动强度MI,公式3。为了测试MI和ROI的关系,整帧的平均MI如公式4定义。
【论文解读】Region-of-interest determination and bit-rate conversion for H.264 video transcoding_第4张图片

然而,仍然有一些ROI是低运动的,为了准确分割出ROI,人脸也引起注意,肤色检测可以有效的检测出人脸,根据参考论文[24]中的方法直接根据Cb和Cr来确定。每个像素是否满足Cb、Cr平面上的上、下二次函数,将被标记为肤色。根据ROI和肤色颜色关系,额外的辅助信息将被用来在低运动下的ROI的确定,具体流程如图3。
【论文解读】Region-of-interest determination and bit-rate conversion for H.264 video transcoding_第5张图片

二次量化模型建立

一帧的总的编码bits数包含如公式5,残差数据在视频流中占据了主要数据。
在这里插入图片描述

找到bitrate、非零量化系数(NZTC)和QP的关系,建立bitrate变换模型。具体分为I帧的码率变换模型和P帧的码率变换模型。I帧对应的码率模型如公式6和7,P帧对应的码率模型如公式8和9,涉及到公式系数实验数据在原论文中体现。
【论文解读】Region-of-interest determination and bit-rate conversion for H.264 video transcoding_第6张图片

H264码率转码器的框架

码率转码器
● 公式10-13来实现视频码率转码的整个过程,根据解码获取的码率(bitrate)、非零量化系数(NZTC)和QP来确定编码的QP值,如公式10-13。
【论文解读】Region-of-interest determination and bit-rate conversion for H.264 video transcoding_第7张图片

图9展示了该论文提出的整个转码系统的体系。
【论文解读】Region-of-interest determination and bit-rate conversion for H.264 video transcoding_第8张图片

模型参数训练过程

针对不同的应用,不同视频序列有不同的特点。因此,在使用这些比特率转换模型之前,需要对输入序列的模型参数进行训练。我们为第一编码帧设置I帧,为第二编码帧设置P帧。QP数据设置为25、30、35和40进行预处理编码。采用曲线拟合方法求解模型参数。尽管训练过程会产生一些开销,但这可以促进精确的比特率转换模型。

基于视频的ROI码率转码器

对于低比特率的视频比特流传输,一般的重量化方法会显著降低整个帧的视觉质量。为了解决这个问题,应该在用户感兴趣的区域分配更多的编码bit数。因此,需要一种自动的ROI分割算法。结合前面提到的ROI分割,该论文提出了一种基于ROI的码率转码器来保持ROI 中MBs的视频质量。

如公式14-17,根据每个MB的重要性来分配不同的编码bit数。首先,式14计算转码后当前帧的估计总编码bit数,然后由式15具体分配到每个MB。此外,为了降低转码过程中编码的复杂度,我们对非ROI中的 MBs的解码模式进行了复用,并利用ROI 中的MBs全模式来保持视觉质量。此外,H.264/AVC编码标准支持skip模式,以提高压缩效率,该论文利用了这skip模式。简而言之,通过忽略非ROI中 MBs的运动估计和模式决策,因此减少了转码时间。
【论文解读】Region-of-interest determination and bit-rate conversion for H.264 video transcoding_第9张图片

实验结果

具体的实验数据如原论文所述。

你可能感兴趣的:(论文解读,H264标准,音视频架构,h.264,视频转码,视频编解码,实时音视频,皮肤检测)