音视频开发基础知识

一、颜色模式
RGB
YUV：YUV4:4:4 YUV4:2:2 YUV4:2:0
RGB与YUV转换公式
HSV

二、视频基础概念
帧
帧数
帧率：=帧数/时间
刷新率（HZ）
分辨率：视频、图片的画面大小或尺寸
码率/比特率

三、CPU & GPU
CPU：中央处理器
GPU：图形处理器
硬解和软解（ffmpeg）
视频硬解码和软解码的区别：

1. 软解码和硬解码的区别
   软编码：使用CPU进行编码
   硬编码：使用非CPU进行编码，如显卡GPU、专用的DSP、FPGA、ASIC芯片等
2. 软编码和硬编码比较
   软编码：实现直接、简单，参数调整方便，升级易，但CPU负载重，性能较硬编码低，低码率下质量通常比硬编码要好一点。
   硬编码：性能高，低码率下通常质量低于软编码器，但部分产品在GPU硬件平台移植了优秀的软编码算法（如X264）的，质量基本等同于软编码。

四、视频封装格式
MP4/AVI/MOV/WMV/FLV/MKV/RMVB

五、视频编码格式codec
MPEG
H.26X
H.264
视频封装格式&视频编码格式：封装格式是提供了一个容器，用于存放视频、音频以及其他配置信息，而编码格式是指对视频画面内容进行压缩的一种标准。

六、音频格式
WAV\MP3\AAC

七、H.264编码介绍
IPB关键帧
PTS和DTS
GOP

GOP解码案例

ffmpeg在不同系统中的安装与简单裁剪
音频基础知识，如频率、采样大小和通道数等
音频的压缩原理
如何从不同的设备上采集音频数据
如何对音频进行不同的编解码
视频的基础知识
H264编码原理
如何从不同设备上采集视频数据
熟悉YUV的一些常见格式（YUV420、NV21，YV12的不同）
如何将YUV数据编码为H264/H265、VP8/VP9等
FLV/RTMP/HLS/MP4协议要十分清楚
......

音视频技术基础.png

视频处理

作者：Github资料整理员
链接：https://www.zhihu.com/question/325943454/answer/2025622908
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

FFmpeg/WebRTC/RTMP音视频流媒体技术

1.1 音视频基础

1.1 .1 FFMPEG环境搭建

• Windows平台搭建FFMPEG
• Linux平台搭建FFMPEG

1.1 .1音视频基础

• 音频基础

• 视频基础

• 常用工具

• Medialnfo

• VLC播放器

1.2 FFMPEG命令

• 视频录制
• 多媒体文件的分解/复用
• 裁剪与合并
• 图片/视频互转
• 直播相关
• 各种滤镜

1.3 FFMPEG编程

1.3 .1 音视频渲染

• SDL环境搭建
• SDL事件
• SDL线程
• YUV视频播放
• PCM声音播放

1.3 .2 FFmpeg API

• FFmpeg框架
• FFmpeg内存模型
• FFmpeg常用结构体

1.3 .3 音视频编码

• AAC编解码原理
• H264编解码原理
• AAC解码
• AAC编码
• H264解码
• H264编码
• FFmpeg解码流程
• FFmpeg编码流程

1.3 .4 音视频封装格式

• FLV封装格式
• MP4封装格式
• 多媒体解复用
• 多媒体复用实战
• 多媒体转封装格式实战

1.3 .5 音视频过滤器

• 音视频过滤器
• 视频过滤器

1.3 .6 播放器开发

• 播放器框架
• 模块
• 音视频解码
• 播放器控制
• 音视频同步

1.3 .7 ffplay播放器

• 掌握ffplay.c的意义
• ffplay框架
• 音视频解码
• 音视频控制
• 音视频同步
• 参数机制

1.3 .8 ffmpeg录制转码

• 掌握ffmpeg.c
• ffmpeg框架
• 音视频编码
• 封装格式转换
• 提取音频
• 提取视频
• logo叠加
• 音视频文件拼接
• filter机制

1.4 流媒体

1.4 .1 rtmp流媒体

• rtmp
• wireshark抓包
• rtmp拉流
• rtmp推流

1.4 .2 hls流媒体

• hls
• HTTP
• TS格式
• wireshark
• hls拉流
• ffmpeg hls源码
• hls多码率机制

1.4 .3 http-flv流媒体

• http-flv
• wireshark
• http chunk机制
• http-flv拉流
• ffmpeg http-flv源码

1.4 .4 RTMP/HLS/HTTP-FLV流媒体服务器

• 整体框架
• rtmp推流
• rtmp拉流
• hls拉流
• http-flv拉流
• FFmpeg转码
• 首屏秒开技术
• forward集群源码
• edge集群源码
• 负载均衡部署方式

1.4 .5 RTSP流媒体

• RTSP
• RTP
• RTCP
• RTSP流媒体服务器搭建
• RTSP推流
• RTSP拉流
• wireshark
• RTSP流媒体服务器

1.5 WEBRTC

1.5 .1 WebRTC中级开发

• WebRTC通话原理
• WebRTC开发环境搭建
• coturn最佳搭建
• 如何采集音视频数据
• —对—通话时序
• 信令服务器设计
• Web一对一通话
• Web和Android通话
• AppRTC

1.5 .2 WebRTC高级开发

• 自定义摄像头分辨率
• 码率限制
• 调整编码器顺序
• Mesh模型多方通话
• Janus框架
• Janus Web客户端源码
• Janus Android客户端源码
• Janus Windows客户端源码
• Janus信令设计
• 基于Janus实现会议系统
• WebRTC源码编译
• 拥塞控制算法
• FEC
• jitter buffer

1.5 .3 Janus服务器源码

• 源码结构
• 插件机制
• 线程
• 信令交互过程
• videoroom
• sdp
• rtp
• srtp
• rtcp
• stun
• turn

音频编码
视频编码
IBP关键帧
音频文件封装格式
流媒体协议
时间戳
音视频同步

雷霄骅--音视频技术基础：封装技术、视频压缩编码技术、音频压缩编码技术，流媒体协议技术（考虑传输到网络上时）

1. 封装格式：后缀：avi、rmvb、mp4、flv等，把音频数据和视频数据打包成一个文件的规范。（MediaInfo查看）

2. 视频播放器原理：视频播放器播放一个互联网上的视频文件，需要经过以下几个步骤：解协议（播放互联网上视频文件需要，本地文件不需要）、解封装、解码音视频、音视频同步。

   
   
   播放视频

解协议：将流媒体协议的数据，解析为标准的相应的封装格式数据。音视频在网络上传播的时候，常常采用各种流媒体协议，例如HTTP，RTMP，或是MMS等等。这些协议在传输视音频数据的同时，也会传输一些信令数据。这些信令数据包括对播放的控制（播放，暂停，停止），或者对网络状态的描述等。解协议的过程中会去除掉信令数据而只保留视音频数据。例如，采用RTMP协议传输的数据，经过解协议操作后，输出FLV格式的数据。
解封装：将输入的封装格式的数据，分离成为音频流压缩编码数据和视频流压缩编码数据。封装格式种类很多，例如MP4，MKV，RMVB，TS，FLV，AVI等等，它的作用就是将已经压缩编码的视频数据和音频数据按照一定的格式放到一起。例如，FLV格式的数据，经过解封装操作后，输出H.264编码的视频码流和AAC编码的音频码流。
解码：将视频/音频压缩编码数据，解码成为非压缩的视频/音频原始数据。音频的压缩编码标准包含AAC，MP3，AC-3等等，视频的压缩编码标准则包含H.264，MPEG2，VC-1等等。解码是整个系统中最重要也是最复杂的一个环节。通过解码，压缩编码的视频数据输出成为非压缩的颜色数据，例如YUV420P，RGB等等；压缩编码的音频数据输出成为非压缩的音频抽样数据，例如PCM数据。
视音频同步的作用，就是根据解封装模块处理过程中获取到的参数信息，同步解码出来的视频和音频数据，并将视频音频数据送至系统的显卡和声卡播放出来。

YUV/RGB数据像素处理

解码流