嵌入视频3

Fundamentals of Embedded Video Processing (Part 3 of a 5-part series)

嵌入式视频处理基本原理（第3部分，共5部分）

 

By David Katz and Rick Gentile, ADI公司

 

In this article, the third installment in a five-part series, we’ll look at video flows from a system level, discussing the types of video sources and displays that comprise an embedded video application.   

本文是5部分系列文章的第3部分，我们将从系统层次来考察视频流，讨论嵌入式视频应用所包含的各种视频源和显示装置。

 

Figure 1 shows a typical end-to-end embedded digital video system.  In one case, a video source feeds into a media processor (after being digitized by a video decoder, if necessary).  There, it might be compressed via a software encode operation before being stored locally or sent over the network.  

图1描述了一个典型的端到端嵌入式数字视频系统。在这种情况下，一个视频源被输入到一个媒体处理器中（必要时，可经过视频解码器的数字化处理）。此时，可以通过软件编码操作来对其进行压缩，然后将其存储到本地或者通过网络进行传输。

 

 

Figure 1: System Video Flow for Analog/Digital Sources and Displays 

图1:  模拟/数字源和显示器的系统视频流

Outside World——媒体处理器外部，Media Processor——媒体处理器

Video Soures——视频源，Video Displays——视频显示设备，Digital LCD panel——数字LCD平板，Digital CMOS sensor——数字CMOS传感器，Analog Video camera or CCD——模拟视频摄像机或者CCD，HW Decode（A/D converter）r——硬件解码器（A/D转换器），Storage media——存储介质，TV or Monitor—— 电视机或监视器，Digital  LCD panel——数字LCD平板显示，H/W Encoder（D/A转换器）——硬件编码器（D/A 转换器），Media Processor——媒体处理器，SW Encoder（Compression）——软件编码器（压缩），SW Decoder——软件解码器（解压缩），

 

 

In an opposite flow, a compressed stream is retrieved from a network or mass storage.  It is then decompressed via a software decode operation and sent directly to a digital output display (like a TFT-LCD panel), perhaps being first converted to analog form by a video encoder for display on a conventional CRT.  

与此过程相反，我们可以从网络或硬盘存储设备得到一段经过压缩的码流。然后通过软件解码操作实现解压缩，并直接传送到一个视频输出显示设备器上（如TFT－LCD平板），或者通过视频编码器转换为模拟信号，从而在传统的CRT上显示。

 

Keep in mind that compression/decompression represent only a subset of possible video processing algorithms that might run on the media processor. Still, for our purposes, they set a convenient template for discussion. Let’s examine in more detail the video-specific portions of these data flows.   

需要注意的是，压缩/解压缩仅仅代表了媒体处理器上可实现的视频处理算法中的一部分。不过，就我们的目标而言，它们为我们的讨论提供了一个合适的模板。接下来，让我们更为详细的探讨这些数据流中专门针对视频的部分。

 

 

Analog Video Sources   

模拟视频源

 

Embedded processor cores cannot deal with analog video directly. Instead, the video must be digitized first, via a video decoder. This device converts an analog video signal (e.g., NTSC, PAL, CVBS, S-Video) into a digital form (usually of the ITU-R BT.601/656 YCbCr or RGB variety).  This is a complex, multi-stage process.  It involves extracting timing information from the input, separating luma from chroma, separating chroma into Cr and Cb components, sampling the output data, and arranging it into the appropriate format. A serial interface such as SPI or I2C configures the decoder’s operating parameters. Figure 2 shows a block diagram of a representative video decoder.   

嵌入式处理器内核无法直接对模拟视频信号进行处理。视频信号必须首先通过视频解码器数字化，将模拟视频信号（例如，NTSC、PAL、CVBS、S-Video）转换为数字信号形式（通常是ITU-R BT.601/656 YCbCr或者RGB）。这是一个复杂的、多级的处理过程，包括从输入信号中提取时间信息、亮度与色度的分离、色度信息分离为Cr和Cb分量、输出数据的采样，以及为其分配适当的格式等。通过串行接口，如SPI或者I2C，可以对解码器的操作参数进行配置。图2所示的是视频解码器的典型方框图。

 

Figure 2: Block diagram of ADV7183B video decoder

图2   ADV7183B视频解码器，

图中：Analog IN——模拟输入，Input MUX——输入复用器，Data Pre-processor——数据预处理器，Decimation and Downsampling Filters——抽取和下采样滤波器，SYNC and CLK——同步与时钟，SYNC Processing and CLOCK Generation——同步处理和时钟生成，Serial Interface Control and VB1 Data——串行接口控制和VBI数据，Chroma Digital Fine Clamp——Chroma数字精细嵌位电路，LUMA Digital Fine Clamp——LUMA数字精细嵌位电路，LUMA Filter——LUMA滤波器，Gain Control——增益控制，LUMA Resample——LUMA重采样，LUMA 2D COMB （4H MAX）——LUMA 2D COMB，SYNC Extract——同步提取，Line Length Predictor—数据线长度预测，Resample Control——重采样控制，AV Code Insertion——AV码插入，FSC Recovery——FSC 恢复，Chroma Demod—Chroma解调，Chroma Filter——Chroma滤波器，Gain Control——增益控制，Chroma Resample——Chroma重采样，Chroma  2D COMB （4H MAX）——Chroma 2D COMB（4H MAX），VBI Data Recovery——VBI数据恢复，Macrovision Detection——Macrovision 检测，Global Control——全局控制，Standard Autodetection——标准自动检测，Synthesized LLC Control——同步LLC控制，Free Run Output Control——自由运行输出控制，Output Formatter——输出格式化。

 

 

 

Digital Video Sources  

数字视频源

 

Camera sources today are overwhelmingly based on either Charge-Coupled Device (CCD) or CMOS technology.  Both of these technologies convert light into electrical signals, but they differ in how this conversion occurs.  

当今的视频信号源基本上都是基于电荷耦合设备（CCD）或者CMOS技术基础上的。这些技术都可以将光转换为电信号，但它们在转换机理方面存在差异。

 

CMOS sensors ordinarily output a parallel digital stream of pixel components in either YCbCr or RGB format, along with horizontal and vertical synchronization and a pixel clock. Sometimes, they allow for an external clock and sync signals to control the transfer of image frames out from the sensor.   

CMOS传感器一般会输出并行的数字信号流，该信号流通常包括YCbCr 或者 RGB格式的像素分量，以及水平/垂直同步和像素时钟。有时，它们还允许采用一路外部的时钟和同步信号，以控制图像帧从传感器向外部传输。

CCDs, on the other hand, usually hook up to an "Analog Front End" (AFE) chip, such as the AD9948, that processes the analog output signal, digitizes it, and generates appropriate timing to scan the CCD array. A processor supplies synchronization signals to the AFE, which needs this control to manage the CCD array. The digitized parallel output stream from the AFE might be in 10-bit, or even 12-bit, resolution per pixel component.   

另一方面，CCD往往连接到 “模拟前端”（AFE）芯片上，如AD9948，该类芯片处理模拟输出信号，对其进行数字化，并产生恰当的时序信号来扫描CCD阵列。AFE的同步信号则由处理器来提供，AFE需要利用该路控制信号来管理CCD阵列。经过AFE数字化后的并行输出流可以达到每像素分量10bit、甚至12bit的分辨率。

For a more detailed discussion on tradeoffs between CMOS and CCD sensors, as well as an overview of a typical image processing pipeline, please refer to the following article:  

欲了解关于在CMOS和CCD传感器之间如何进行折衷的更为详细的讨论，以及典型的图像处理流水线操作方面的综述，请参考如下的文章：

 

http://www.videsignline.com/howto/sensorsoptics/189600793

 

 

Analog video displays   

模拟视频显示

 

Video Encoder   

视频编码器

 

A video encoder converts a digital video stream into an analog video signal.  It typically accepts a YCbCr or RGB video stream in either ITU-R BT.656 or BT.601 format and converts to a signal compliant with one of several different output standards (e.g., NTSC, PAL, SECAM).  A host processor controls the encoder via a 2- or 3-wire serial interface like SPI or I2C, programming such settings as pixel timing, input/output formats, and luma/chroma filtering. Figure 3 shows a block diagram of a representative encoder. Video encoders commonly output in one or more of the following analog formats:  

视频编码器用于将数字视频流转换为一路模拟视频信号，输入一般为ITU-R.656或者BT.601格式的YCbCr或者RGB视频流，根据不同的输出标准（如NTSC、PAL、SECAM）对信号进行转换。一个主控处理器可以通过2线或者3线串行接口（SPI 或者I2C）来对编码器进行控制，如对像素时序、输入/输出格式以及亮度/色度滤波等设置进行编程。图3所示的是典型编码器的结构框图。视频编码器比较常见的模拟输出格式如下：

 

Figure 3: Block diagram of ADV7179 video encoder

图3：ADV7179视频编码器的结构框图。

图中Power Management Control——电源管理控制，Sleep Mode——休眠模式，Interpolator——内插器，CGMS and WSS Insertion Block ——CGMS 与 WSS插入模块，Teletext Insertion Block——Teletext插入模块，Interpolator——内插器，Programmable Luminance Filter——可编程亮度滤波器，

Programmable Chrominance Filter——可编程色度滤波器，YCrCb to YUV Matrix——YCrCb至YUV转换矩阵，Video Timing Generator——视频时序发生器，I2C MPU Port——I2C MPU端口，Real－time Control Circuit——实时控制电路，Sin/Cos DDS Block——正弦/余弦DDS模块，Voltage Reference Circuit——电压基准电路，YUV to RGB Matrix——YUV至RGB转换矩阵，Multiplexer——复用器，Voltage

Reference Circuits——电压基准电路

 

 

 

CVBS – This acronym stands for Composite Video Baseband Signal (or Composite Video Blanking and Syncs.)  Composite video connects through the ubiquitous yellow RCA jack shown in Figure 4a.  It contains Luma, Chroma, Sync and Color Burst information all on the same wire.  

CVBS：复合视频基带信号（或复合视频消隐与同步）。复合的视频是通过图4a所示的专用黄色RCA接头来连接的。它将亮度、色度、同步和色彩脉冲信息整合到一根电缆内。

 

S Video, using the jack shown in Figure 4b, sends the luma and chroma content separately. Separating the brightness information from the color difference signals dramatically improves image quality, which accounts for the popularity of S Video connections on today’s home theater equipment.   

S Video：使用图4b所示的接头进行连接，可以分别传送亮度和色度内容。将亮度信息与色差信号分离开来，可以大幅改善图像质量，这也正是S Video连接在当今的家庭影院系统中流行的原因。

 

Component Video – Also known as YPbPr, this is the analog version of YCbCr digital video.  Here, the luma and each chroma channel are brought out separately, each with its own timing. This offers maximum image quality for analog transmission. Component connections are very popular on higher-end home theatre system components like DVD players and A/V receivers (Figure 4c).

分量视频，也称为YPbPr，这是YCbCr数字视频的的模拟版本。在这种视频中，每个亮度与色度通道都是单独提取、输出的，每路都带有自己的时序。这就保证了模拟传输后图像的高品质。分量连接在高端家用影院系统组件，如DVD播放器和A/V接收机中，是非常常见的（图4c）。

 

Analog RGB has separate channels for Red, Green and Blue signals.  This offers similar image quality to Component Video, but it’s normally used in the computer graphics realm, whereas Component Video is primarily employed in the consumer electronics arena.  RGB connectors are usually of the BNC variety, shown in Figure 4d.   

模拟RGB具有分离的红、绿、蓝信号通道。这可以提供类似于分量视频的图像质量，但它一般用于计算机图形图像领域，而分量视频则主要应用于消费类电子方面。RGB连接器往往是BNC插座的改型，如图4d所示。

 

 

Figure 4: Common Analog Video Connectors   

图4：常见的模拟视频连接器

 

Cathode Ray Tubes (CRTs)    

阴极射线管(CRT)

 

On the display side, RGB is the most popular interface to computer monitors and LCD panels.  Most older computer monitors accept analog RGB inputs on 3 separate pins from the PC video card and modulate 3 separate electron gun beams to generate the image. Depending on which beam(s) excite a phosphor point on the screen, that point will glow either red, green, blue, or some combination of these colors. This is different from analog television, where a composite signal, one that includes all color information superimposed on a single input, modulates a single electron beam. Newer computer monitors use DVI, or Digital Visual Interface, to accept RGB information in both digital and analog formats.     

在显示端，RGB是计算机监视器和LCD平板显示最常用的接口。大多数较老式的计算机监视器都是用3根独立的插针，从PC视频卡和调制三相电子枪波束接收模拟RGB输入产生所需的图像。电子束激励屏幕上的磷点，则该点将发出红、绿、蓝或者三色的组合，具体的发光则取决于是哪路电子束击中了该点。这与模拟电视不同，后者使用的是一种复合信号，将所有色彩信息分层整合为一个单一的输入，并调制成一个单一的电子束。最近出现的计算机显示器使用DVI即数字可视接口，来接收数字和模拟的RGB信息。

 

The main advantages to CRTs are that they’re very inexpensive and can produce more colors than a comparably sized LCD panel. Also, unlike LCDs, they can be viewed from any angle.   On the downside, CRTs are very bulky, emit considerable electromagnetic radiation, and can cause eyestrain due to their refresh-induced flicker.    

CRT的主要优势在于它们是廉价的，而且可以产生的颜色也要比同等尺寸的LCD平板要丰富。此外，与LCD不同的是，CRT的可视角度非常宽广。CRT的不足在于，体积较为庞大，电磁辐射较强，由于刷新时的闪烁效应，也会导致眼睛疲劳。

 

Liquid Crystal Display (LCD) Panels   

液晶显示（LCD）平板

 

There are two main categories of LCD technology: passive matrix and active matrix.  In the former (whose common family members include STN, or “Super Twisted Nematic,” derivatives), a glass substrate imprinted with rows forms a “liquid crystal sandwich” with a substrate imprinted with columns. Pixels are constructed as row-column intersections.  Therefore, to activate a given pixel, a timing circuit energizes the pixel’s column while grounding its row.  The resultant voltage differential untwists the liquid crystal at that pixel location, which causes it to become opaque and block light from coming through.  

LCD技术主要有两类：无源阵列和有源阵列。在前者中（最常用的一种类型是STN，或超级螺旋向列及其衍生种类），往往采用由一块印刷出行电极引线结构的玻璃衬底与另一块印刷出列电极引线结构的玻璃衬底共同组成的“液晶三明治”结构。这些行列交叉点构成了像素点。于是，为了激活特定的像素，时序电路将像素点处的列上电，而将行接地。所形成的电压差则使得该像素点上的液晶产生翻转，于是该点变得不透明，阻止光线穿过。

 

Straightforward as it is, passive matrix technology does have some shortcomings.  For one, screen refresh times are relatively slow (which can result in “ghosting” for fast-moving images).  Also, there is a tendency for the voltage at a row-column intersection to “bleed” over into neighboring pixels, partly untwisting the liquid crystals and blocking some light from passing through the surrounding pixel area. To the observer, this blurs the image and reduces contrast.  Moreover, viewing angle is relatively narrow.   

无源阵列技术虽然简单，但也存在一些缺点。例如，屏幕的刷新时间较慢（这会造成快速物体显示时的重影现象）。此外，行-列交点处的电压也容易泄露到相邻的像素点上，这会在一定程度上造成周围区域像素的液晶变得不透明，阻碍光线的通过。对于观察者而言，图像会变得模糊不清，且对比度变低，另外，可视角度也相对较小。

 

Active matrix LCD technology improves greatly upon passive technology in these respects. Basically, each pixel consists of a capacitor and transistor switch. This arrangement gives rise to the more popular term, “Thin-Film Transistor (TFT) Display.” To address a particular pixel, its row is enabled, and then a voltage is applied to its column.  This has the effect of isolating only the pixel of interest, so others in the vicinity don’t turn on.  Also, since the current to control a given pixel is reduced, pixels can be switched at a faster rate, which leads to faster refresh rates for TFTs over passive displays. What’s more, modulating the voltage level applied to the pixel allows many discrete levels of brightness.  Today, it is common to have 256 levels, corresponding to 8 bits of intensity.   

在这些方面，有源阵列LCD技术可以很大程度上改进无源技术的缺点。从基本结构来看，每个像素点都由一个电容和晶体管开关构成，这种结构使之获得了一个更常用的名称“薄膜晶体管（TFT）显示”。为了对特定的像素进行定位，需要使能其所在行，然后向其所在列施加一个电压，这样可以带来隔离感兴趣的像素点的效果，而周围的其它像素都不会被影响。由于控制特定像素的电流被降低，该像素点的开关速度也更高，这就使得TFT技术具备了高于无源显示的刷新速率。此外，对施加到像素点上电压高低的调制也可以实现对多种亮度级的显示。如今，对于8bit的亮度信息，其显示的亮度级通常有256个。

 

Connecting to a TFT-LCD panel can be a confusing endeavor due to all of the different components involved. First, there’s the panel itself, which houses an array of pixels arranged for strobing by row and column, referenced to the pixel clock frequency.  

由于涉及多种不同的组件，连接TFT-LCD的任务繁杂，令人感到混乱不堪。首先，考虑平板本身，需要根据像素时钟频率，对像素阵列的行和列加载脉冲。

 

The backlight is often a CCFL (Cold Cathode Fluorescent Lamp), which excites gas molecules to emit bright light while generating very little heat. Other reasons for their suitability to LCD panel applications are their durability, long life, and straightforward drive requirements.  LEDs are also a popular backlight method, mainly for small- to mid-sized panels. They have the advantages of low cost, low operating voltage, long life, and good intensity control. However, for larger panel sizes, LED backlights can draw a lot of power compared with comparable CCFL solutions.  

TFT-LCD的背光常常是CCFL（冷阴极荧光灯），其内部的气体分子被激发并发光，而相应产生的热量很少。它们适合于LCD平板显示的其他原因还包括：耐用性、长寿命和简单易行的驱动要求。LED也是一种流行的背光方法，主要用于小到中等尺寸的平板，它们的优点在于成本低、工作电压低、寿命长、亮度控制性好等。不过，当平板尺寸更大时，与CCFL相比，LED背光的功耗就显得过高。

 

An LCD controller contains most of the circuitry needed to convert an input video signal into the proper format for display on the LCD panel.  It usually includes a timing generator that controls the synchronization and pixel clock timing to the individual pixels on the panel.  However, in order to meet LCD panel size and cost requirements, sometimes timing generation circuitry needs to be supplied externally in a “Timing Generator” or “Timing ASIC” chip. In addition to the standard synchronization and data lines, timing signals are needed to drive the individual rows and columns of the LCD panel.  Sometimes, spare general-purpose PWM (pulse-width modulation) timers on a media processor can substitute for this separate chip, saving system cost.   

一个LCD控制器包含了将一路输入视频信号转换为LCD平板所需格式的大部分电路，它往往包括一个时序发生器，用于控制平板上各像素的同步和时钟信号的时序。不过，为了满足LCD平板在尺寸和成本方面的要求，有时需要由“时钟发生器”或者“时序发生ASIC”芯片从外部提供时序生成电路。除了实现标准的同步以及数据线外，驱动LCD平板上各行和列也需要定时信号。有时，媒体处理器上富余的通用性PWM（脉宽调制），可以取代这一分立芯片，降低系统的成本。

 

Additional features of LCD controller chips are things like on-screen display support, graphics overlay blending, color lookup tables, dithering and image rotation.  The more elaborate chips can be very expensive, often surpassing the cost of the processor to which they’re connected. 

 LCD控制芯片还提供屏幕显示支持、图形层叠混合、颜色速查表、抖动与图像旋转等其他一些特色功能。结构复杂的芯片，其价格也极为昂贵，常常超出了与之相连的处理器的成本。

 

An LCD driver chip is necessary to generate the proper voltage levels to the LCD panel.  It serves as the “translator” between the output of the LCD Controller and the LCD Panel.  The rows and columns are usually driven separately, with timing controlled by the timing generator. Liquid crystal must be driven with periodic polarity inversions, because a dc current will stress the crystal structure and ultimately deteriorate it.  Therefore, the voltage polarity applied to each pixel varies either on a per-frame, per-line, or per-pixel basis, depending on the implementation.  

为了给LCD平板提供恰当的电平，需要采用合适的LCD驱动器芯片。它起到LCD控制输出和LCD平板之间的“转换器”的功能。行与列往往是分开驱动的，其时序由时序信号发生器来控制。液晶必须用周期性的极性翻转信号来驱动，因为直流电流会给液晶结构带来应力，并最终使之损坏。于是，施加到每个像素的电压的极性必须满足基于每帧、每行或者每个像素变化一次的要求，具体采取何种方式则取决于实现方案。

 

With the trend toward smaller, cheaper multimedia devices, there has been a push to integrate these various components of the LCD system.  Today, integrated TFT-LCD modules exist that include timing generation and drive circuitry, requiring only a data bus connection, clocking/synchronization lines, and power supplies. The electrical interface on an integrated TFT-LCD display module is straightforward.  It typically consists of data lines, synchronization lines, power supply lines, and a clock.  Some panels are also available with a composite analog video input, instead of parallel digital inputs.  

随着多媒体设备向着更小型、更廉价的方向发展，促使人们将上述这些LCD系统部件集成起来。如今，集成的TFT-LCD模块包含时序信号产生与驱动电路，只需要一路数据总线连接、时钟/同步化线和电源。一个集成化的TFT-LCD显示模块的电气接口简单易懂，它一般包含数据线、同步线、电源线和一路时钟线。有些平板除了支持并行的视频数字输入信号外，还支持复合模拟视频输入。

 

OLED (Organic Light-Emitting Diode) Displays     

OLED（有机发光二极管）显示

 

The “Organic” in OLED refers to the material that’s encased between two electrodes.  When charge is applied through this organic substance, it emits light. This display technology is still very new, but it holds promise by improving upon several deficiencies in LCD displays.  For one, it’s a self-emissive technology and does not require a backlight.  This has huge implications for saving panel power, cost and weight – an OLED panel can be extremely thin. Additionally, it can support a wider range of colors than comparable LCD panels can, and its display of moving images is also superior to that of LCDs. What’s more, it supports a wide viewing angle and provides high contrast. OLEDs have an electrical signaling and data interface similar to that of TFT LCD panels.  

OLED中的“有机”是对夹在两个电极之间的材料而言。当电荷穿过这一有机材料时，这种有机物就会发光。该显示技术仍属一种新生技术，但它有望大大改善LCD显示的若干不足。例如，它是一种自发光的技术，无需背光，这就意味着将大大降低显示器的功耗、成本及其重量——一个OLED平板可以非常轻薄。此外，它可以比LCD平板提供更丰富的色彩，对运动图像的显示效果也优于LCD。此外，它支持更宽的视角和更高的对比度。OLED的电子时序发生器和数据接口与TFT LCD平板类似。

 

For all its advantages, so far the most restrictive aspect of the OLED display is its limited lifetime.  The organic material breaks down after a few thousand hours of use, although this number has now improved in some displays to over 10,000 hours – quite suitable for many portable multimedia applications.  It is here where OLEDs have their brightest future -- in cellphones, digital cameras, and the like.  However, it is also quite possible that we’ll ultimately see televisions or computer monitors based on OLED technology in the near future.  For the time being, as LCD panel technology keeps improving, the OLED mass production timeline gets pushed out incrementally.  

尽管具有上述种种优点，目前限制OLED显示应用的最主要因素是其有限的寿命。在使用几千小时后，有机材料就会击穿，尽管现在某些显示器的这一量值已经超过了10 000小时——非常适合于许多便携式多媒体应用。因此，OLED在手机、数码相机等产品中，具有广泛的应用前景。然而，我们相信在不久的将来，会看到基于OLED技术的电视或者计算机显视器。目前，随着LCD技术的不断发展，OLED在大规模生产方面的安排与规划也日趋清晰。

 

 

Now that we’ve covered the basics of connecting video streams within a system, it’s time to take a look inside the processor, to see how it handles video efficiently.  This will be the subject of the next article in this series.  

既然我们已经阐述了系统内部的视频流连接方面的基础知识，下面就该对处理器的内部进行一番考察，了解其是如何能有效处理视频信号的。这将是本系列文章下一部分的主题。