多媒体基础知识笔记
8.电影字幕分为内嵌字幕和外挂字幕。内嵌字幕内嵌就是PGS格式，也就是图形+索引,没有外挂字幕有那么属性可调。
9.内存泄露是查看命令：echo 1 > /proc/sys/vm/drop_caches && free
cat /proc/pid/status
10.H.264介绍：
1）H.264标准压缩系统由视频编码层（VCL）和网络提取层（Network Abstraction Layer，NAL）两部分组成。VCL中包括VCL编码器与VCL解码器，主要功能是视频数据压缩编码和解码，它包括运动补偿、变换编码、熵编码等压缩单元。NAL则用于为VCL提供一个与网络无关的统一接口，它负责对视频数据进行封装打包后使其在网络中传送，它采用统一的数据格式，包括单个字节的包头信息、多个字节的视频数据与组帧、逻辑信道信令、定时信息、序列结束信号等。包头中包含存储标志和类型标志。存储标志用于指示当前数据不属于被参考的帧。类型标志用于指示图像数据的类型。
VCL可以传输按当前的网络情况调整的编码参数。
2）a.也是采用DCT变换编码加DPCM的差分编码，即混合编码结构。
b.比H.263++更好的压缩性能，又具有适应多种信道的能力。
c.H.264的应用目标广泛，可满足各种不同速率、不同场合的视频应用，具有较好的抗误码和抗丢包的处理能力。
d.H.264的基本系统无需使用版权，具有开放的性质，能很好地适应IP和无线网络的使用，这对目前因特网传输多媒体信息、移动网中传输宽带信息等都具有重要意义
e.多种更好的运动估计 小尺寸4?4的整数变换 更精确的帧内预测 UVLC使用一个相同的码表进行编码，而解码器很容易识别码字的前缀，UVLC在发生比特错误时能快速获得重同步。 内容自适应二进制算术编码（CABAC：Context Adaptive Binary Arithmetic Coding）。
3)PSNR性能：计算图像峰值性噪比函数，是图像处理中必备的一个性能指标。
4)“非对称十字型多层次六边形格点搜索算法”（Unsymmetrical-Cross Muti-Hexagon Search）”，这是一种整像素运动估值算法。
11.XviD是继承DivX3.11的非商业同人版。在DIVX开发源码基础上开发并商业化的DIVX4/5与openDIVX的XVID
12.所谓流媒体简单的说就是利用互联网来传递并能被用户一边下载一边观看的活动媒体信息。流媒体技术一般都有三个方面的表现，分别是编码器（编码技术）、播放器（播放支持）和流服务器，三者缺一不可。
13.JVT的主要任务就是将 H.26L “模型”的草案发展成为一套完整的国际标准.实噬? 其结果将成为两个相同的标准: ISO MPEG4 Part 10 MPEG4 以及 ITU-T H.264. 新标准的“官方”名称为 Advanced Video Coding (AVC);
14.表面上看播放器只是简单地“播放”了这个文件，实际上这个“播放”包含了更多我们看不到的步骤。这个步骤是这样的：
1) 播放器打开视频源文件
2) 播放器调用分离器将视频文件分解为单独的音频流和视频流
3) 播放器调用音频解码器对音频流进行解码，同时调用视频解码器对视频流进行解码
4) 播放器依据同样的时间线将解码后的音频流和视频流输出到播放窗口并使之保持同步。
我们经常听到滤镜（Filter）的名称，实际上就是指的各种分离器或解码器。
15.如果播放HDTV时碰到有声无画或者有画无声，就应该自己从解码器着手，替换一个试试。
16.多媒体后缀名只是让播放器识别的一个名称而已，编码格式才重要。
17.AAC特点：
1)AAC是一种高压缩比的音频压缩算法，但它的压缩比要远超过较老的音频压缩算法，如AC-3、MP3等。并且其质量可以同未压缩的CD音质相媲美。
2)同其他类似的音频编码算法一样，AAC也是采用了变换编码算法，但AAC使用了分辨率更高的滤波器组，因此它可以达到更高的压缩比。
3)AAC使用了临时噪声重整、后向自适应线性预测、联合立体声技术和量化哈夫曼编码等最新技术，这些新技术的使用都使压缩比得到进一步的提高。
4)AAC支持更多种采样率和比特率、支持1个到48个音轨、支持多达15个低频音轨、具有多种语言的兼容能力、还有多达15个内嵌数据流。
5）AAC支持更宽的声音频率范围，最高可达到96kHz，最低可达8KHz，远宽于MP3的16KHz-48kHz的范围。
6）不同于MP3及WMA，AAC几乎不损失声音频率中的甚高、甚低频率成分，并且比WMA在频谱结构上更接近于原始音频，因而声音的保真度更好。专业评测中表明，AAC比WMA声音更清晰，而且更接近原音。
7）AAC采用优化的算法达到了更高的解码效率，解码时只需较少的处理能力。
18.AAC的音频文件格式有ADIF ＆ ADTS：
1）ADIF：Audio Data Interchange Format 音频数据交换格式。这种格式的特征是可以确定的找到这个音频数据的开始，不需进行在音频数据流中间开始的解码，即它的解码必须在明确定义的开始处进行。故这种格式常用在磁盘文件中。
2）ADTS：Audio Data Transport Stream 音频数据传输流。这种格式的特征是它是一个有同步字的比特流，解码可以在这个流中任何位置开始。它的特征类似于mp3数据流格式。
19.实时流传输协议 RTP 详细说明了在互联网上传递音频和视频的标准数据包格式，它与传输控制协议 RTCP 配合使用，成为流媒体技术最普遍采用的协议之一。
20.MP4格式对应标准MPEG-4标准
21.MP4封装格式是基于QuickTime容器格式定义，媒体描述与媒体数据分开，目前被广泛应用于封装h.264视频和ACC音频，是高清视频/HDV的代表。
22.大端模式，是指数据的高位，保存在内存的低地址中，而数据的低位，保存在内存的高地址中，这样的存储模式有点儿类似于把数据当作字符串顺序处理：地址由小向大增加，而数据从高位往低位放；
23.小端模式，是指数据的高位保存在内存的高地址中，而数 据的低位保存在内存的低地址中，这种存储模式将地址的高低和数据位权有效地结合起来，高地址部分权值高，低地址部分权值低，和我们的逻辑方法一致。
24.MPEG-4特性：
1）视频对象提取技术
2）VOP视频编码技术
3）视频编码可伸缩性技术：视频数据只压缩一次，却能以多个帧率、空间分辨率或视频质量进行解码
4）FGS编码实现简单，可在编码速率、显示分辨率、内容、解码复杂度等方面提供灵活的自适应和可扩展性，且具有很强的带宽自适应能力和抗误码性能。
25.MIDI格式音频文件：存储一组指令，指挥MIDI设备发声，因此文件小，易编辑。
26.qml国际化：lupdate qml/displayChinese/main.qml -ts qml.ts、lconvert app.ts qml.ts -o displayChinese_zh_CN.ts
27.音频视频字幕数据被不同硬件处理，传输时通过视频文件格式来实现封装，达到数据同步。视频档实际上都是一个容器里面 包裹着不同的轨道，使用的容器的格式关系到视频档的可扩展性。
28.在模拟视频中，采样率定义为帧频和场频，而不是概念上的像素时钟。当模拟视频转换为数字视频的时候，使用像素频率。
29.无损格式，例如WAV，PCM，TTA，FLAC，AU，APE，TAK，WavPack(WV)。有损格式，例如MP3，Windows Media Audio（WMA），Ogg Vorbis（OGG），AAC。
30典型的视讯编码器：在进行当前信号编码时，编码器首先会产生对当前信号做预测的信号，称作预测信号，预测的方式可以是时间上的预测，亦即使用先前帧的信号做预测，或是空间上的预测 ，亦即使用同一张帧之中相邻像素的 信号做预测。得到预测信号后，编码器会将当前信号与预测信号相减得到残余信号，并只对残余信号进行编码，如此一来，可以去除一部份时间上或是空间上的冗余资讯。接着，编码器并不会直接对残余信号进行编码，而是先将残 余信号经过变换（通常为离散余弦变换）然后量化以 进一步去除空间上和感知上的冗余资讯。量化后得到的量化系数会再透过熵编码，去除统计上的冗余资讯。
31.DVB-(C/T/S/H)各种方式区别在于调制方式，它们应用的频率带宽的要求不同。利用高频载波的DVB-S使用QPSK调制方式，利用低频载波的DVB-C使用QAM-64 调制方式，而利用VHF 及 UHF载波的DVB-T使用COFDM调制方式。
32.MPEG2-TS格式的特点就是要求从视频流的任一片段开始都是可以独立解码的。TP 实际上也可以说是一种封装包，里面含有视频流和音频流数据，这一点和AVI、MKV是一样的。所 不同的是采用的MPEG2的压缩标准。
33.在VC++开发环境中，调用VFW只是需要将VFW32.lib 文件加入工程中，但在开放视频捕捉与压缩管理程序时需要其它软件硬件设置。
34.使用.ra用于音频文件，使用.rv用于带或不带音频的视频文件，用.rmvb用于可变速率的视频文件。
35.DIVX是由MPEG－4衍生出的另一种视频编码(压缩)标准，也即通常所说的 DVDrip格式，它采用了MPEG4的压缩算法同时又综合了MPEG-4 与MP3各方面的技术，说白了就是使用DivX压缩技术对DVD盘片的视频图像进行高质量压缩，同时用MP3或AC3对音频进行压缩，然后再将视频与音频 合成并加上相应的外挂字幕文件而形成的视频格式。
36.视频的主要性能指标：
1）编解码格式
2）分辨率
3）帧率，每秒钟视频刷新画面数量。一般25fps,低于15fps会卡。
4）清晰度
5）码率，每秒钟图像数据量
9.内存泄露是查看命令：echo 1 > /proc/sys/vm/drop_caches && free
cat /proc/pid/status
10.H.264介绍：
1）H.264标准压缩系统由视频编码层（VCL）和网络提取层（Network Abstraction Layer，NAL）两部分组成。VCL中包括VCL编码器与VCL解码器，主要功能是视频数据压缩编码和解码，它包括运动补偿、变换编码、熵编码等压缩单元。NAL则用于为VCL提供一个与网络无关的统一接口，它负责对视频数据进行封装打包后使其在网络中传送，它采用统一的数据格式，包括单个字节的包头信息、多个字节的视频数据与组帧、逻辑信道信令、定时信息、序列结束信号等。包头中包含存储标志和类型标志。存储标志用于指示当前数据不属于被参考的帧。类型标志用于指示图像数据的类型。
VCL可以传输按当前的网络情况调整的编码参数。
2）a.也是采用DCT变换编码加DPCM的差分编码，即混合编码结构。
b.比H.263++更好的压缩性能，又具有适应多种信道的能力。
c.H.264的应用目标广泛，可满足各种不同速率、不同场合的视频应用，具有较好的抗误码和抗丢包的处理能力。
d.H.264的基本系统无需使用版权，具有开放的性质，能很好地适应IP和无线网络的使用，这对目前因特网传输多媒体信息、移动网中传输宽带信息等都具有重要意义
e.多种更好的运动估计 小尺寸4?4的整数变换 更精确的帧内预测 UVLC使用一个相同的码表进行编码，而解码器很容易识别码字的前缀，UVLC在发生比特错误时能快速获得重同步。 内容自适应二进制算术编码（CABAC：Context Adaptive Binary Arithmetic Coding）。
3)PSNR性能：计算图像峰值性噪比函数，是图像处理中必备的一个性能指标。
4)“非对称十字型多层次六边形格点搜索算法”（Unsymmetrical-Cross Muti-Hexagon Search）”，这是一种整像素运动估值算法。
11.XviD是继承DivX3.11的非商业同人版。在DIVX开发源码基础上开发并商业化的DIVX4/5与openDIVX的XVID
12.所谓流媒体简单的说就是利用互联网来传递并能被用户一边下载一边观看的活动媒体信息。流媒体技术一般都有三个方面的表现，分别是编码器（编码技术）、播放器（播放支持）和流服务器，三者缺一不可。
13.JVT的主要任务就是将 H.26L “模型”的草案发展成为一套完整的国际标准.实噬? 其结果将成为两个相同的标准: ISO MPEG4 Part 10 MPEG4 以及 ITU-T H.264. 新标准的“官方”名称为 Advanced Video Coding (AVC);
14.表面上看播放器只是简单地“播放”了这个文件，实际上这个“播放”包含了更多我们看不到的步骤。这个步骤是这样的：
1) 播放器打开视频源文件
2) 播放器调用分离器将视频文件分解为单独的音频流和视频流
3) 播放器调用音频解码器对音频流进行解码，同时调用视频解码器对视频流进行解码
4) 播放器依据同样的时间线将解码后的音频流和视频流输出到播放窗口并使之保持同步。
我们经常听到滤镜（Filter）的名称，实际上就是指的各种分离器或解码器。
15.如果播放HDTV时碰到有声无画或者有画无声，就应该自己从解码器着手，替换一个试试。
16.多媒体后缀名只是让播放器识别的一个名称而已，编码格式才重要。
17.AAC特点：
1)AAC是一种高压缩比的音频压缩算法，但它的压缩比要远超过较老的音频压缩算法，如AC-3、MP3等。并且其质量可以同未压缩的CD音质相媲美。
2)同其他类似的音频编码算法一样，AAC也是采用了变换编码算法，但AAC使用了分辨率更高的滤波器组，因此它可以达到更高的压缩比。
3)AAC使用了临时噪声重整、后向自适应线性预测、联合立体声技术和量化哈夫曼编码等最新技术，这些新技术的使用都使压缩比得到进一步的提高。
4)AAC支持更多种采样率和比特率、支持1个到48个音轨、支持多达15个低频音轨、具有多种语言的兼容能力、还有多达15个内嵌数据流。
5）AAC支持更宽的声音频率范围，最高可达到96kHz，最低可达8KHz，远宽于MP3的16KHz-48kHz的范围。
6）不同于MP3及WMA，AAC几乎不损失声音频率中的甚高、甚低频率成分，并且比WMA在频谱结构上更接近于原始音频，因而声音的保真度更好。专业评测中表明，AAC比WMA声音更清晰，而且更接近原音。
7）AAC采用优化的算法达到了更高的解码效率，解码时只需较少的处理能力。
18.AAC的音频文件格式有ADIF ＆ ADTS：
1）ADIF：Audio Data Interchange Format 音频数据交换格式。这种格式的特征是可以确定的找到这个音频数据的开始，不需进行在音频数据流中间开始的解码，即它的解码必须在明确定义的开始处进行。故这种格式常用在磁盘文件中。
2）ADTS：Audio Data Transport Stream 音频数据传输流。这种格式的特征是它是一个有同步字的比特流，解码可以在这个流中任何位置开始。它的特征类似于mp3数据流格式。
19.实时流传输协议 RTP 详细说明了在互联网上传递音频和视频的标准数据包格式，它与传输控制协议 RTCP 配合使用，成为流媒体技术最普遍采用的协议之一。
20.MP4格式对应标准MPEG-4标准
21.MP4封装格式是基于QuickTime容器格式定义，媒体描述与媒体数据分开，目前被广泛应用于封装h.264视频和ACC音频，是高清视频/HDV的代表。
22.大端模式，是指数据的高位，保存在内存的低地址中，而数据的低位，保存在内存的高地址中，这样的存储模式有点儿类似于把数据当作字符串顺序处理：地址由小向大增加，而数据从高位往低位放；
23.小端模式，是指数据的高位保存在内存的高地址中，而数 据的低位保存在内存的低地址中，这种存储模式将地址的高低和数据位权有效地结合起来，高地址部分权值高，低地址部分权值低，和我们的逻辑方法一致。
24.MPEG-4特性：
1）视频对象提取技术
2）VOP视频编码技术
3）视频编码可伸缩性技术：视频数据只压缩一次，却能以多个帧率、空间分辨率或视频质量进行解码
4）FGS编码实现简单，可在编码速率、显示分辨率、内容、解码复杂度等方面提供灵活的自适应和可扩展性，且具有很强的带宽自适应能力和抗误码性能。
25.MIDI格式音频文件：存储一组指令，指挥MIDI设备发声，因此文件小，易编辑。
26.qml国际化：lupdate qml/displayChinese/main.qml -ts qml.ts、lconvert app.ts qml.ts -o displayChinese_zh_CN.ts
27.音频视频字幕数据被不同硬件处理，传输时通过视频文件格式来实现封装，达到数据同步。视频档实际上都是一个容器里面 包裹着不同的轨道，使用的容器的格式关系到视频档的可扩展性。
28.在模拟视频中，采样率定义为帧频和场频，而不是概念上的像素时钟。当模拟视频转换为数字视频的时候，使用像素频率。
29.无损格式，例如WAV，PCM，TTA，FLAC，AU，APE，TAK，WavPack(WV)。有损格式，例如MP3，Windows Media Audio（WMA），Ogg Vorbis（OGG），AAC。
30典型的视讯编码器：在进行当前信号编码时，编码器首先会产生对当前信号做预测的信号，称作预测信号，预测的方式可以是时间上的预测，亦即使用先前帧的信号做预测，或是空间上的预测 ，亦即使用同一张帧之中相邻像素的 信号做预测。得到预测信号后，编码器会将当前信号与预测信号相减得到残余信号，并只对残余信号进行编码，如此一来，可以去除一部份时间上或是空间上的冗余资讯。接着，编码器并不会直接对残余信号进行编码，而是先将残 余信号经过变换（通常为离散余弦变换）然后量化以 进一步去除空间上和感知上的冗余资讯。量化后得到的量化系数会再透过熵编码，去除统计上的冗余资讯。
31.DVB-(C/T/S/H)各种方式区别在于调制方式，它们应用的频率带宽的要求不同。利用高频载波的DVB-S使用QPSK调制方式，利用低频载波的DVB-C使用QAM-64 调制方式，而利用VHF 及 UHF载波的DVB-T使用COFDM调制方式。
32.MPEG2-TS格式的特点就是要求从视频流的任一片段开始都是可以独立解码的。TP 实际上也可以说是一种封装包，里面含有视频流和音频流数据，这一点和AVI、MKV是一样的。所 不同的是采用的MPEG2的压缩标准。
33.在VC++开发环境中，调用VFW只是需要将VFW32.lib 文件加入工程中，但在开放视频捕捉与压缩管理程序时需要其它软件硬件设置。
34.使用.ra用于音频文件，使用.rv用于带或不带音频的视频文件，用.rmvb用于可变速率的视频文件。
35.DIVX是由MPEG－4衍生出的另一种视频编码(压缩)标准，也即通常所说的 DVDrip格式，它采用了MPEG4的压缩算法同时又综合了MPEG-4 与MP3各方面的技术，说白了就是使用DivX压缩技术对DVD盘片的视频图像进行高质量压缩，同时用MP3或AC3对音频进行压缩，然后再将视频与音频 合成并加上相应的外挂字幕文件而形成的视频格式。
36.视频的主要性能指标：
1）编解码格式
2）分辨率
3）帧率，每秒钟视频刷新画面数量。一般25fps,低于15fps会卡。
4）清晰度
5）码率，每秒钟图像数据量