《视频解密》中文版（第四版） 第七章 数字视频处理（第二部分）

非隔行扫描到隔行扫描变换

在一些应用中，有必要将一个非隔行扫描视频信号在一个隔行扫描显示器上显示。所以，一些形式的“非隔行扫描到隔行扫描变换”可能被使用。

非隔行扫描到隔行扫描的变换必须在分量视频信号（如R’G’B’或YCbCr）域被执行。由于包含彩色副载波相位信息，复合的彩色视频信号（如NTSC或PAL）不能被直接处理，这种处理将变得毫无意义。信号在处理前必须被解码成分量彩色信号，如R’G’B’或YCbCr。

这种变换有两种基本技术：扫描线抽取和垂直滤波。

扫描线抽取

最简单的方法是丢弃每帧非隔行扫描帧的其它有效扫描线，如图7.47所示。虽然成本很低，但是这种处理有一些问题，尤其是顶部和底部的物体。

如果垂直方向有一个颜色和亮度尖锐的转变，它将产生1.5个刷新率的闪烁。原因是，由于抽取的结果，它显示每个其他场。例如，来自逐行扫描线宽的一条水平扫描线将产生上下闪烁。两个逐行扫描线宽的水平线将会向上或向下振荡。

简单的抽取也可能增加对齐伪影。虽然不一定可见，但它们会影响后续的图像处理。

 图7.47使用扫描线抽取的非隔行到隔行变换

垂直滤波

一个更好的解决方案是使用两行或多行非隔行扫描数据来产生一行隔行扫描数据。快速的垂直变换平滑输出一些隔行扫描线。

对于3-线滤波器，如图7.48所示，典型的滤波系数是[0.25，0.5，0.25]。使用对于3行的滤波导致过渡模糊，并且文本变小很难阅读。

另一种实现方法是使用IIR滤波，而不是FIR滤波。处理平均之外，该技术使对象周围的亮度进一步降低，更加减少了闪烁。

必须注意，请关心每帧的开始和结束处的情况，那儿只有少量的扫描线供滤波使用。

 图7.48使用3-线垂直滤波的非隔行扫描到隔行扫描的变换

隔行扫描到非隔行扫描的变换

在一些应用中，有必要显示一个隔行扫描视频到一个非隔行扫描的显示器上。所以一些形式的“去隔行”或“逐行扫描变换”可能被需要。

注意，去隔行处理必须在分量视频信号（如R’G’B’或YCbCr）域被执行。由于包含彩色副载波相位信息，复合的彩色视频信号（如NTSC或PAL）不能被直接处理，这种处理将变得毫无意义。信号在处理前必须被解码成分量彩色信号，如R’G’B’或YCbCr。

有两种基本的去隔行算法：视频模型和电影模型。视频模型的去隔行可以进一步分为场间和场内处理。一个去隔行器的目标是在特定的时刻正确地选择需要的最佳的算法。

在视频源和显示器的垂直分辨率不匹配的系统中（由于，例如在一个HDTV上显示SDTV的节目），去隔行处理和垂直缩放可以合并成一步处理。

视频模型：场内处理

这是最生成额外扫描行的最简单的方式，仅使用原始场内的信息。计算机工业创造的这个技术脚“摆锤”。

虽然有两种普通的技术应用于场内处理，扫描行复制和扫描行插值，垂直分辨率总是收到原始的场内容的限制。

扫描行复制

扫描行复制（图7.49）简单地复制前面的有效扫描行。虽然有效扫描行的数量增加了一倍，但是垂直分辨率并没有增加。

扫描行插值

扫描行插值在原始有效扫描行之间生成插值的扫描行。虽然有效扫描行的数量增加了一倍，但是垂直分辨率并没有增加。

最简单的应用，如图7.50所示，在两个输入扫描行之间采用线性插值生成新的扫描行：

             outn =（inn-1 + inn+1）/2

更好的结果，也增加了成本，可以通过使用一个FIR滤波器的到：

Outn = (160×(inn-1 + inn+1)–48×(inn-3 + inn+3) + 24×(inn-5 + inn+5)

+(12×(inn-7 + inn+7)–6×(inn-9 + inn+9) + 2×(inn-11 + inn+11)

 图7.49使用扫描行复制的去隔行处理

新的扫描行由复制它上边的有效扫描行产生的

 

 图7.50使用扫描行插值的去隔行处理

新的扫描行由上边有效扫描行和下边有效扫描行的平均值产生的

分数倍插值

在许多情况下，输入扫描行和输出扫面行的之间存在但非整数的周期性。着这种情况下，小数倍数插值可以被使用，类似于仅用于处理垂直方向的多相滤波。这种技术合并去隔行处理和垂直缩放于单一处理步骤。

可变插值

在少数情况下，入扫描行和输出扫面行的之间不存在周期性。所以，理论上，一个无限阶数滤波器和系数被需要。由于这是不可行的，解决方案是使用一个巨大的，但是有限阶数的滤波器。滤波器的阶数由插值精度确定。这种技术也合并去隔行处理和垂直缩放于单一处理步骤。

视频模型：场间处理

这种方法，来自超过一场的视频信息被用来产生一个逐行扫描的帧。由于来自超过一场的内容，这种方法可以提供更高的垂直分辨率。

场合并

这种技术合并两个连续的场来产生一帧视频（图7.51）。在每一场的时序中，场中的有效扫描行于前一场的有效扫描行进行合并。结果是，对于每一场的输入时序，一对场复合以产生一帧（见图7.52）。虽然实现简单，但是仅在没有运动的区域垂直分辨率被倍增。

 图7.51使用场合并的去隔行处理

通过使用文本或前场的输入行生成扫描行阴影

 7.52生成场扫描速率的去隔行帧

 

由于两场之间的时间差别──一个移动物体在相继两场的位置坐标不同，所以移动的物体将产生伪影，也叫做“重影”。当两场合并时，移动物体将有“两个图像”（见图7.53）。

 图7.53场合并时的移动伪影

 

通常，在垂直方向轻微软化图像去减少重影的可见性。当被使用时，将导致减小垂直分辨率，并在运动和圆形区域出现抖动。

计算机工业将这项技术称为“编织”，但是“编织”还包含了反向电视电影处理以去除源中任何3:2下拉处理的存在。从理论上讲，因为两个相同的场被合并，所以这消除了“重影”伪影。

移动自适应去隔行

一个好的去隔行解决方案是在图像的静止区域使用场合并方法，在运动区域使用扫描行插值方法。为了达到这一点，在采样点到采样点的基础上，运动必须整幅图像实时被检测，并需要处理视频的一些场。

当合并两场时，图像静止区域的垂直分辨率全部被保留，眼睛对那些区域的细节最敏感。采样差异可能是0（没有移动，并无噪声）到最大值（例如，从最大亮度变化到黑色）的任何值。当使用的采样来自前一场（由于运动位置错误）或来自当前场相邻扫描行的插值新采样时，选择必须被做。突然切换实现方法是可见的，所以交替渐变（也叫做软切换）被使用。在一些采样点的幅度差别出，重影降低的分辨率等于插值降低的分辨率。运动量导致的交替渐变应该在50%点处。较小的运动将导致对场的合并淡出，较大的运动导致插值的淡出。

不是“每个像素”运动自适应去隔行，这要对每个采样点都判断，一些低成本的解决方案使用“每场”运动自适应去隔行。在这种情况中，算法选择每一场，基于场之间的运动量。“每个像素”运动自适应去隔行，虽然很难实现，但是当正确处理时看起来相当不错。“每场”运动自适应去隔行看起来并不比垂直插值方法要好。

运动补偿去隔行

运动补偿（即运动适量督导）去隔行处理比运动自适应去隔行处理复杂几个数量级，它通常在专业视频格式转换器中使用。

运动补偿处理需要计算场之间每个采样点的运动矢量，并且沿着每个采样点的运动轨迹进行插值。运动矢量也必须被找到任何每个丢失的采样点。当你移动各个帧时，图片区域可能会被覆盖或不覆盖。运动矢量还必须有子像素的精度，并在帧之间确定两个时间方向。

由于对预测宏块之间的残差进行编码，所以用于MPEG的运动矢量错误可以被自纠错。由于运动补偿去隔行处理是一种单端系统，运动矢量错误将产生伪影，所以差异搜索和校验算法必须被使用。

电影模式（使用逆电视图像模式）

对于使用3:2下拉（即60场/秒视频变换到24帧/秒电影）的源，在删除复制场处理之前可以获得更高的去隔行处理。

逆电视处理检测3:2场序列，并删除冗余的第三场。剩余的场对组成（由于它们之间没有运动差）24帧/秒的逐行扫描帧。然后这些重复的3:2序列来获得60帧/秒。

虽然这看起来是理想的解决方案，许多基于MPGE的源在节目中使用60场/秒视频（3:2下拉）和24帧/秒视频（基于电影）。除此之外，一些节目偶尔同时包含这两种视频类型。在其它情况，3:2下拉时序（韵律）不是恒定的，即源不是和电影源一致。所以，去隔行器不得不探测每个视频类型进行不同的处理（视频模式和电影模式）。由于不同视频类型的延时和去隔行器检测改变，所以通常会显示伪影。

频率响应考虑

各种双时序的去隔行垂直超采样技术可以在两有效行之间和滤波时使用插入填充值0，如图7.54所示。

线A表示的是行复制的频率响应，这里，低通滤波器的系数是1，1，和0。

行插值使用的低通滤波器的系数是0.5，1.0和0.5，频率响应的如曲线B所示。注意，行复制有一个更好的高频频响。垂直滤波器有一个比行复制跟好的频率响应，代价是要缓存更多的行和更复杂的处理。

最好的垂直频率响应是使用场合并时获得的。行的空间位置已经校正，垂直处理不需要，结果就是一条平坦的曲线（线C）。同样，这只适用于静态图像区域。

基于DCT的压缩

许多视频压缩标准的变换是基于离散余弦变换的，即DCT。最简单的方法是设想一个滤波器块，所有滤波器进行并行计算。

在编码期间，DCT通常跟随在其它处理，如量化，锯齿扫描，游程编码和可变长编码之后。在解码期间，这个流程是反向处理的。

很多时候，在设计视频压缩时，宏块和块项被使用。图7.55显示了这两种项之间的关系，并表示了为什么在变换处理中通常使用8×8采样块。

 图7.54 各种去隔行滤波器的频率响应

（a）行复制

（b）行插值

（c）场合并

DCT

8×8 DCT处理一个8×8的采样块以产生一个8×8块的DCT系数，如图7.56所示。输出采样可以从一个真实的视频帧或者运动补偿的差异（错误）值，依赖于编码器的运作模式。每个DCT的系数指示块中水平或垂直的特定频率数量。

 图7.55宏块和块的关系

 图7.56 DCT处理8×8块或误差项产生的8×8块产生的DCT系数

 

DCT系数（0，0）是直流系数，或平均采样值。由于自然图像的样本点之间往往只有细微的不同，低频系数通常较大而高频系数通常较小。

8×8 DCT的定义如图7.57所示。 表示采样点 的8×8输入块， 表示DCT变换块 的系数。

 图7.57二维8×8 DCT定义

 

重建8×8块的采样是使用8×8逆DCT（IDCT），定义如图7.58所示。理论上精确重建是可行的，由于有限精度的数学、量化和误差的IDCT的使用，所以它是不现实的。所以，不同的IDCT的实现有“不匹配”性。

 图7.58二维8×8逆DCT（IDCT）定义

 

“不匹配控制”尝试降低编码器和解码器之间的IDCT结果漂移，通过消除位匹配对不匹配有最大贡献。

MPEG-1的不匹配控制叫做“oddification”，因为它强制所有DCT量化系数为负值。MPGE-2和MPEG-4的第二部分使用一个改进的方法叫做“LSB翻转”，它在翻转量化后只影响第63个DCT系数。

H.264（也叫做MPEG-4的第十部分）通过使用一个“完整的逆变换”巧妙地回避了这个问题。每个解码器将产生精确的原始图像，所有其它条件相同。

量化

8×8块的DCT系数被量化，从而降低了整体的整数系数精度，而且往往消除高频系数，同时保证视觉质量。由于视觉感知的量化误差，高频率往往比低频率具有更粗糙（更少的允许值）。量化器也使用恒定比特率，应用于那些多种控制输出比特率的地方。

锯齿扫描

量化的DCT系数通过在一个锯齿顺序器对它们的扫描重新排序到一个线性系统。这个重排序将直流系数排在最前面，在它之后按照频率的增大的顺序排列频率系数，如图7.59，7.60和7.61所示。这产生了长的连续0系数。

 图7.59锯齿扫描按频率增加顺序分布的8×8的DCT块量化系数

这种扫描顺序用于H.261，H.263，MPGE-1，MPEG-2，MPGE-4第二部分，ITU-R BT.1618，ITU-R BT.1620，SMPTE 314M和SMPTE 370M

 

 图7.60 H.263，MPGE-2和MPEG-4第二部分的“交替垂直”扫描顺序

 图7.61 H.263和MPEG-4第二部分的“交替水平”扫描顺序

游程编码

线性的频率量化系数流被转换成一系列的[游程，幅度]对。[游程]表示系数为0的数量，[幅度]表示结束游程的非0系数。

可变长度编码

使用可变长度码将[游程，幅度]对进行编码，将导致一定的额外压缩损失。这对普通对产生较短的编码，对特殊对产生较长的编码。

这种编码方式将DCT系数产生更紧凑的表示方式，对于一个包含大量DCT系数的序列经常量化成0，导致将长游程连续的0分组重排列分组（理想）。

固定像素显示考虑

固定像素显示器的独特设计和色域的色彩在线导致开发了新的视频处理技术。其结果是更高的亮度，更清晰的图像和更鲜艳的图像，而与视频源无关。

扩展色彩重现

广播电台通常仅限于调整到满足基于CRT显像管电视的的色彩再现特性。为了有能力在PDP和LCD上的色彩重现，厂商纷纷推出各种色彩重现技术。这里包括为每个主色和互补色采用独立的色调和饱和度控制，增加鲜艳色彩。

细节校正

对于基于CRT的电视，增强图像通常通过调整电子束的直径来完成。对于固定像素显示器，加入过冲和下冲到视频信号导致失真。一个可接受的实现是逐步改变需要增强的轮廓区域的亮度。

非均匀量化

不是简单地增加量化的级数，而是根据图像的亮度调整量化级数。由于人们对低亮度图像的亮度变化的敏感度高于高亮度图像的亮度变化，所以这是可行的。除此之外，亮度越高的图像，人们对它亮度的细微变化敏感度越低。这意味着可以对低亮度图像使用比高亮度图像更高的量化精度。这种技术也可以用于提高频繁出现的阴影的量化级数。

缩放和去隔行

固定像素的显示器，如LCD和等离子体显示器，在去隔行器件通常先放大然后缩小图像，以减少由于折叠效应引起的摩尔噪声。例如将一个1080i的源去隔行到2160p，然后将它缩放到1536p，最后缩放到768p（为了驱动1024×768显示器）。另外，一些解决方案去隔行并放大到1500p，然后缩放到显示器的本地分辨率。

应用实例

图7.62和图7.63所示是典型的在MPEG解码和去隔行后的视频处理动作。

除了主视频源（如一个MPEG解码器）之外，其它视频源典型包括一个屏幕视控系统（OSD），画中画（PIP），图形图文或字幕。

OSD对每个产品的设计是统一的，所以OSD内存通常支持一个宽的，各种RGB/YCbCr格式和分辨率。可选的查找表将伽马校正加到RGB数据中，转换2-、4-或8-指数的颜色到32-比特YCbCr数据，或将0~255视频电平变换成16~235电平。

图片存储器通常使用JPEG图片，背景图片，等等。它通常也支持广泛的各种各样的RGB/YCbCr格式和分辨率。可选的查找将伽马校正加到RGB数据中，转换2-、4-或8-指数的颜色到32-比特YCbCr数据，或将0~255视频电平变换成16~235电平。

 图7.62视频复合简化框图

 

字幕缓存是一个有用的区域用户渲染隐藏字幕，DVB字幕和DVD子画面。查找表转换2-、4-或8-指数的颜色到32-比特YCbCrA数据。

 图7.63视频输出端口处理

 

色度矫正电路确保色彩准确，而不依赖于视频源和显示器（SDTV对比HDTV）。

每个视频源和视频输出接口独立的亮度，对比度，饱和度，色调和锐度控制为用户提供了最大的灵活性。PIP可以在不影响主画面的情况下进行调整，可以在不影响静态画面质量的情况下调整视频，等等。

图7.63中NTSC/PAL编码器顶部可选的下变换和逐行到隔行变换模块能同时针对HD到SD，或同时针对逐行扫描到隔行扫描的变换，并不会影响输出的HD或逐行扫描视频的质量。

图7.63底部的第二个NTSC/PAL编码器对于偶尔记录下没有任何OSD或字幕信息的节目是很有用的。

参考资料

1. Clarke, C. K. P., 1989, Digital Video: Studio Signal Processing, BBC Research Department Report BBC RD1989/14.

2. Devereux, V. G., 1984, Filtering of the Colour-Difference Signals in 4:2:2 YUV Digital Video Coding Systems, BBC Research Department Report BBC RD1984/4.

3. ITU-R BT.601–5, 1995, Studio Encoding Parameters of Digital Television for Standard 4:3 and Widescreen 16:9 Aspect Ratios.

4. ITU-R BT.709–5, 2002, Parameter Values for the HDTV Standards for Production and International Programme Exchange.

5 ITU-R BT.1358, 1998, Studio Parameters of 625 and 525 Line Progressiv Scan Television Systems.

6. Johan G.W.M. Janssen, Jeroen H. Stessen, and Peter H.N. de With, An Advanced Sampling Rate Conversion Technique for Video and Graphics Signals, Philips Research Labs.

7. Sandbank, C. P., Digital Television, John Wiley & Sons, Ltd., New York, 1990.

8. SMPTE 274M–2003, Television—1920×1080 Image Sample Structure, Digital Representation and Digital Timing Reference Sequences for Multiple Picture Rates.

9. SMPTE 293M–2003, Television—720×483 Active Line at 59.94-Hz Progressive Scan Production—Digital Representation.

10. SMPTE 296M–2001, Television—1280×720 Progressive Image Sample Structure, Analog and Digital Representation and Analog Interface.

11. SMPTE EG36–1999, Transformations Between Television Component Color Signals.

12. Thomas, G. A., 1996, A Comparison of Motion-Compensated Interlace-to-Progressive Conversion Methods, BBC Research Department Report BBC RD1996/9.

13. Ultimatte?, Technical Bulletin No. 5, Ultimatte Corporation.

14. Watkinson, John, The Engineer’s Guide to Standards Conversion, Snell and Wilcox Handbook Series.

15. Watkinson, John, The Engineer’s Guide to Motion Compensation, Snell and Wilcox Handbook Series.