基础知识3-音视频
一、音视频重要环节
1、发起会话
2、编码
3、传输（eg：RTP）
4、解码
5、结束会话
二、视频格式
适合在本地播放本地影像视频
适合在网络中播放的网络流媒体影像视频
MPEG、AVI、MOV、ASF、3GP、RMVB
三、音频格式
是指要在计算机内播放或者处理音频文件
MP3、WAVE、AIFF、WMA
四、编码
编解码指的是一个能够对一个信号或者一个数据流进行变换的设备或程序
目前主要的 视频压缩协议有h.261 h.263 h.264和mpeg-1 mpeg-2和mpeg-4
五、音频协议
音频协议分为两大类
1）、itu组织的主要用于视频会议的g系列协议；特点：第一比较关注语音压缩，第二压缩比例比较大，码率比较低，典型的g.723支持5.9k/s
2）、iso音频，流行的mp3（mpeg-1 audio layer3），最新的音频算法被称为aac（也称为mp4）定义在mmpeg-2或mpeg-4的音频部分，特点是音质好，支持多声道，对音乐压缩效果高于g系列
六、解码
软解：通过软件让CPU进行视频解码处理
硬解：不依赖于cpu，通过专用设备来完成视频解码，比如成精德vcd、dvd解压卡、视频压缩卡，现在的GPU硬解码
七、帧
帧-影像动画中最小单位的单幅影像画面，相当于电影胶片中每一个镜头，实际压缩时，会采取各种算法减少数据的容量，其中IPB就是最常见的
I帧是关键帧，属于帧内压缩。就是和AVI的压缩是一样的，P是向前搜索的意思，B是双向搜索。
I帧表示关键帧，你可以理解为这一帧画面的完整保留；解码时只需要本帧数据就可以完成（因为包含完整画面）
P帧表示的是这一帧跟之前的一个关键帧（或P帧）的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。（也就是差别帧，P帧没有完整画面数据，只有与前一帧的画面差别的数据）
B帧是双向差别帧，也就是B帧记录的是本帧与前后帧的差别（具体比较复杂，有4种情况），换言之，要解码B帧，不仅要取得之前的缓存画面，
还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。B帧压缩率高，但是解码时CPU会比较累
采用的压缩方法: 分组:把几帧图像分为一组(GOP),为防止运动变化,帧数不宜取多。
他们都是基于I帧来压缩数据 如1s 15帧，2s一个GOP（2s一个I帧），其余为P帧和B帧
1.定义帧:将每组内各帧图像定义为三种类型,即I帧、B帧和P帧;
2.预测帧:以I帧做为基础帧,以I帧预测P帧,再由I帧和P帧预测B帧;
3.数据传输:最后将I帧数据与预测的差值信息进行存储和传输。
八、分辨率
1）、物理分辨率
实际屏幕能显示的像素数，用WH个像素表示。常见的iphone（480320）
2）、视频文件分辨率
这个指视频画面的实际分辨率 如：320240、480272、640480，一般大部分手机的解码芯片不支持超过其屏幕物理分辨率的视频，部分支持超过其物理分辨率的视频；如
iphone 480320，但是支持640*480的视频，此时播放的画面实际是把原视频缩小了
九、码率
一般指多少kbps或者mbps，手机解码芯片所支持的码率一般都在1mbps以下
定码率：无论画面是静态还是动态，则码率不变，如动态码率不变，会出现画面质量差
变码率：随着图像的复杂程度的不同而变化，编码效率比较高
十、帧率：指视频画面的刷新速度，国内电视机一般为25FPS，电影标准是24FPS，手机芯片最高支持30FPS
十一、RGB和YUV
RGB指的是红绿蓝，应用很广泛，比如显示器显示，bmp文件格式中的像素值等，而yuv主要指亮度和两个色差信号，被称为luminance和chrominance他们可以相互转换，我们视频里面基本
都是yuv格式
视频压缩用到的是420格式，因为人眼对亮度更敏感，对色度相对差些
十二、码率数
单码流：指CIF格式的压缩码流，CIF为352*288
双码流：采用一路高码率的码流用于本地高清存储，一路低码率的码流用于网络传输，同时兼顾本地存储和远程网络传输
主码流：用于本地存储
子码流：用户图像在网络上传输
十三、视频硬件接口
根据输出采集的设备的需求，对设备采集视频源进行相对应的设备
VGA接口：针数为15的视频接口，经历一次数模转换和一次模数转换，信号损失，显示较为模糊
DVI接口：数字信号，可以传输大分辨率的视频信息，DVI连接ji计算机显卡和显示器时不用发送转换，所有信号没有损失
HDMI接口：数字信号，可以传输音频信号，可以同时将电脑信号和音频信号传递给显示器
HD-SDI转换器：HD-SDI转HDMI转换器是一款专用与单路高清数据自分量串行接口信号转换为HDMI信号的设备
十四、
1、视频转码
视频转码是指将已经压缩编码的视频码流转换成另一个视频码流，以适应不通的网络带宽、不通的终端处理能力和不通的用户需求，转码本质上是先解码，再编码的过程
2、视频流化
流化本质上是按顺利提取视频帧的过程，即计算每个数据帧在文件中偏移量的问题
3、视频切片
把一个完整的大文件，转码后切成按固定时长的小文件，存储下来，这样用户就可以实现就近下载，包括拖放等操作
4、流媒体概念
广义上的流媒体是指使音频和视频形成稳定和连续的传输流和回放流的一系列技术、方法和协议的总称，即流媒体技术
狭义上是指一种从internet上获取音频和视频等多媒体数据的方法，它能够支持多媒体数据流的实时传输和实时播放
十五、协议
1、RTP协议详细说明了在互联网上传递音频和视频的标准数据包格式,应用程序开始一个 rtp 会话时将使用两个端口：一个给 rtp ，一个给 rtcp 。
rtp 本身并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠 rtcp 提供这些服务
2、使用FEC\QOS武装RTP
见下图
