音视频基础学习(一)

音频

模拟信号转换成数字信号,通过采样、量化和编码三个步骤完成
采样:奈奎斯特采样定理/乡(香)农采样定理,需要按照比声音最高频率高两倍以上的频率进行采样
量化:把采集到的信号进行数字化,表示信号强度
编码:按照一定的格式记录采样和量化后的数据
声道数:音源数量
音频帧:音频是流式的,所以一般取某一段时长音频为一帧
音频编码:降低采样指标或者压缩
压缩编码的原理就是压缩掉冗余数据

编码格式 特点 适用场合
PCM 音质好,体积大,认为无损
WAV PCM数据格式之前添加44字节,分别描述采样率、声道数和数据格式;音质好,大多数软件支持 多媒体开发的中间文件、保存音乐和音效素材
MP3 中高码率效果比较好,兼容性好 高比特率下对兼容性有要求的音乐欣赏
AAC 通过附加编码技术应对不同场景 多用于视频中的音频编码
OGG 可以用比MP3更小的码率实现比MP3更好的音质,兼容性不好,不支持流媒体特性 语音聊天的音频消息场景

视频

三原色:红绿蓝
度量:色调、饱和度和明度(色调:颜色的外观;饱和度:颜色的纯洁性,区别颜色明暗的程度;明度:对物体辐射或发光多少的感知属性,用亮度来度量明度)
颜色空间:RGB和YUV
预测编码:基于图像相关性进行数据压缩的一种方式
变换编码:将空域图像信号映射变换到另外一个矢量空间,这个过程会产生一系列的变换系数,然后对这些变换系数进行编码处理
混合编码:融合预测编码和变换编码

空间冗余:图像相邻像素之间有较强的相关性
时间冗余:视频序列的相邻图像之间内容相似
编码冗余:不同像素值出现的概率不同
视觉冗余:人的视觉系统对某些细节不敏感
知识冗余:规律性的结构可由先验知识和背景知识得到

编码器:预测、变换、量化、熵编码
解码器:熵解码、反量化、反变换、预测
音视频基础学习(一)_第1张图片

https://blog.csdn.net/qq_34447388/article/details/78997339 图片来源

编码标准 特点
MPEG-1 该标准的优点是压缩方式相对时域压缩技术而言要复杂得多,同时编码效率、声音质量也大幅提高,编码延时相应增加。缺点是频宽要求较高
MPEG-2 具有更高的图像质量、更多的图像格式和传输码率的图像压缩标准
MPEG-4 利用很窄的带宽,通过帧重建技术、数据压缩,以求用最少的数据获得最佳的图像质量
H-264 高压缩比率,在技术方面,高精度、多模式的位移估计,基于4*4块的整数变换、分层的编码语法等内容都使得H.264算法具有很高的编码效率,同时,H.264的码流结构网络适应性强,能够很好地适应IP和无线网络的应用
H-265 新技术使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系,达到最优化设置

封装:媒体的容器,把编码产生的多媒体内容混合封装在一起的标准
平时常见的那些视频格式就是容器

格式 后缀
AVI/DV-AVI .avi
MPEG .mpeg/.3gp/.mp4
WMV .wmv/.asf
Real Video .rm/.rmvb
Flash Video .flv

你可能感兴趣的:(音视频学习)