音视频编解码基本流程分享

音视频编解码基本流程

---

编码音视频流程图 .jpg

1、数据采集

• 视频采集：将模拟摄像机、录像机、LD视盘机、电视机输出的视频信号，通过专用的模拟、数字转换设备，转换为二进制数字信息的过程
• 音频采集：模拟声音转换为计算机识别的数字信号的过程

2、纹理(Texture)：指的是一张表示物体表面细节的位图

• 视频纹理：是一种介于图像和视频之间的媒体，它对一段长度有限的视频进行分析，通过不断的重复原始视频中的某些片断，得到无限连续的视频

3、PCM：脉冲编码调制 (Pulse Code Modulation)

• 在PCM 过程中，将输入的模拟信号进行采样、量化和编码，用二进制进行编码的数来代表模拟信号的幅度 ；接收端再将这些编码还原为原来的模拟信号的过程

---

二、音视频轨道基本概念

1、单音视频轨道

单音视频轨道流程图.png

想象：一个加工厂车间（相当于：合成器）、加工产品（生产线）、 输出产品（合成结束）、包装（导出）、使用（播放）的过程

• AVMutableComposition：合成器，用于处理视频和音频的合成
• AVMutableVideoComposition：指挥人员，告诉合成器，该怎么合成，应该把资源（视频/音频）放在那个位置（时间线）
• AVMutableAudioMix：调试员，告诉合成器，该怎么调节即将出车间的产品（*合成的视频的音量）
• AVAssetExportSession：包装员，将整个产品完成包装，即将正式使用

---

2、视频组装（合成）过程

视频资源轨道细节图.png

• AVAsset视频资源：包含视频轨道(AVAssetTrack-Video)和音频轨道(AVAssetTrack-Audio)
• 合成原理：即将导入的视频资源，按音/视频轨道抽取出来，重新放入新的轨道的过程

3、视频与视频之间的过渡

视频过渡原理.png

• 视频轨道指令（AVMutableVideoCompostionInstruction）：每个视频轨道，都会对应一个控制指令
• 视频轨道指令控制层（AVMutableVideoCompositionLayerInstrciton）：每个指令都有对应的控制层，过渡转场即控制层与控制层的之间的变化过程

因此：实现多个视频合成，需要过渡效果，就必须使用A->B,A->B 或者A->B B->C C->D形式的轨道结构，而不能使用单一轨道。

---

以上即视频编辑的基本过程