音视频开发（一）ffmpeg 简单学习

前言

简单音视频处理。

学习自：

小破站FFmpeg最强教学丨入门FFmpeg看这一篇就够了丨从入门到放弃系列_哔哩哔哩_bilibili

01 下载、配置_哔哩哔哩_bilibili

基础知识

音视频处理基本都是：采样-处理得到帧队列-编码得到包队列-封装得到文件。

视频

一帧视频

RGB：各占8位，因此一个像素点是24位=3B。比如一个1280*720像素的图像，其大小为1280*720*3 B.

YUV：Y 是亮度，UV 指代颜色。存储格式主要有 444 422 420 三种：

YUV422 每两个 Y 共用一个 UV 分量。YUV420 每4个 Y 共用一个 UV 分量：

YUV444：8:8:8=3B。

YUV422：8:4:4=2B。

YUV420：8:2:2=1.5B。

传输会通过一些压缩方式处理：

基本概念

码率：kb/s，单位时间内数据流量，和采样率挂钩。

帧率：fps，一秒多少帧。

分辨率：一幅图像包含像素数。

IPB：视频压缩中的压缩算法。I帧体积最大，解压缩的时候不需要参考其他帧仅靠自己就能重构完整图像，可以由编码器选择决定I帧数量；P帧需要向前寻找可以参考的I/P帧来解压缩；B帧则可以向前或向后寻找预测。

音频

计算机用数字信号模拟现实中连续的声音。

基本概念

采样率：采样频率，每秒采样点个数，如 22KHz。

采样精度：y轴能取到的值数量，精度以位数为单位，如16 bit。

通道：声道。

一定时间长度的音频大小：时长*采样率*采样深度*通道。

比特率：每秒传输数据数，= 采样频率 * 采样精度 * 通道数。

码率： 压缩后的音频数据的比特率。= 音频文件大小/时长。数据越大说明压缩率越低，音质越好。

帧长：1帧的播放时间/压缩后一帧的数据长度。

压缩方式：交错方式，如左右声道 LRLRLR…… 非交错模式，如 LLLL RRRR

压缩技术就是去掉音频中的一些冗余部分，人耳无法识别的来降低数据大小。一方面是人耳真的听不到的，20Hz~20kHz 以外的；另一方面有一些效应影响，比如一个强声音和一个弱声音同时出现，弱声音通常不会被我们听到。这就是掩蔽效应，主要表现为频谱掩蔽效应和时域掩蔽效应。

频谱掩蔽效应：某一个频率上出现了强度很大的声音信号，其周围一定范围频率内的信号如果强度相对小一些，则不容易被听到。

时域掩蔽效应：前掩蔽是出现强信号前的一小段时间内弱信号会被掩蔽；同时掩蔽是强弱信号同时出现的时候弱信号被掩蔽；后掩蔽是强信号小时一段时间内弱信号会被掩蔽.

编码：根据心理声学模型来设置阈值、量化、编码。

封装

视频音频按一定格式算法压缩封装便于播放器播放。比如 MP4 MKV。类似拿着肉馅和皮，包饺子还是包包子。

同步

同步包括：

• DTS：什么时候解码这一帧。
• PTS：什么时候显示这一帧。

一般出现B帧的时候两者顺序会不相同。

同步方式：AM 视频同步到音频，VM 音频同步到视频，ECM 两者同步到外部时钟，一般 AM 最多，VM 最不常见。

ffmpeg

基于 MPEG 编码标准的 “Fast Forward” 开源多媒体处理程序。

基本概念

ffmpeg：编码器。

ffplay：播放器。

ffprobe：分析器。

首先，播放器是如何处理音视频数据的？

容器：多媒体文件。

媒体流：时间轴上一段连续数据。

数据帧：编解码的最小单元。

复用器：把视频，音频，字幕流组合起来。

解复用器：按一定规则解开。

封装

avformat_alloc_context() 申请一个AVFormatContext 结构的内存,并进行简单初始化

开始学习

基本使用

$ ffmpeg -h # 查看所有提示信息。还可以后跟 full 等。
$ ffplay 视频/音频文件 # 使用 ffplay 开始播放视频/音频。播放时按下 w 键切换播放窗口的显示
$ ffprobe 视频/音频文件 # 使用 ffprobe 分析查看视频/音频具体信息

$ ffmpeg -i 输入文件 预期输出文件 # 转换格式。比如输入文件是 .mp4，期望输出文件是 .mov

编码

改变编码基本是为了调整存储方式节约存储空间；或者牺牲存储空间获得更好的音质画质。

$ ffmpeg -codecs # 查看所有编码方式

几种不同的封装推荐的编码方式（以下几种是 1080p 及以下质量的封装方案）：

mp4：h264 + aac。

webm：vp8 + vorbis（youtube 的方案，软硬件支持程度不高但是为了避开专利问题）。

ogg：theora + vorbis（开源）

$ ffmpeg -i in.flac -acodec libmp3lame -ar 44100 -ab 320k -ac 2 out.mp3
# libmp3lame: mp3 的编码器。或者后跟输出文件是.mp3 格式也是一样的效果、
# -ar: 采样率，如果不设置和默认是一样的。一般常用 4800 和 44100
# -ab: 比特率，默认 128k
# -ac: 通道数

$ ffmpeg -i in.webm -s 1920x1080 -pix_fmt yuv420p -vcodec libx264 -preset medium -profile:v high -level:v 4.1 -crf 23 -acodec aac -ar 44100 -ac 2 -b:a 128k out.mp4
# -s: 分辨率大小
# -pix_fmt: 颜色像素空间，可以通过 ffmpeg -pix_fmts 查询。yuv420p 是网络视频常用
# libx264: h264 的软件编码器
# -preset: 编码器预设。精度越高速度越慢体积越小。默认 medium，录制视频一般 veryfast 存储空间换速度，压制视频一般 veryslow
# -profile:v : 画质级别。实时传输常用 baseline，流媒体常用 main，高清视频常用 high。
# -level:v : 压缩视频级别。
# -crf: 恒定速率模式，控制视频质量（不过无法控制具体文件大小）范围0~51，数值越小质量越高。
# -r: 设置帧率。
# 其他和音频的类似, -b:a 和 -ab 一样

转换完成了可以 ffprobe 测一下看看具体数值。

码率控制：有以下三种。-qbp -crf -b`.

-qp：恒定量化器，把画质转化为参数。参数范围也是0~51,0 是无损，体积很大。

能有多大？我作死试试。

试完回来了。7.60MB 变成 23MB了。

-crf：降低一些码率，来保证画质变化不大。

-b：固定码率模式，这样固定码率和文件大小。一般对文件大小有严格要求时才使用。

以上三种都是单遍编码，好像就是扫描一遍完成编码。因此 qp crf 最好搭配 veryslow 预设，使得参数控制更精准。

比特率编码方式：

• vbr 可变比特率，比如 -preset。
• abr 平均比特率，-b:v。不过 abr 码率变化过大，以及用户设备/网络不太好的时候容易造成花屏/黑屏。
• cbr 恒定比特率，在 abr 基础上加一些限定比如 minrate maxrate 来使得比特率相对恒定。

音视频分离合并

$ ffmpeg -i in.mp4 -vcodec copy -an out.mp4
# vcodec 复制原来的。
# -an 静音，也就是把音频分离出来。
# 同理，-vn 是得到音频。
# 如果有多个音频流，需要选定，比如 -map 0:3 选定 0:3 音频流。
$ ffmpeg -i in.mp4 -i in.m4a copy -c out.mp4
# 如此来合并音视频

音视频截取拼接

$ ffmpeg -i in.mp4 -ss 00:01:00 -to 00:05:00 -vcodec copy out.mp4
$ ffmpeg -i in.mp4 -ss 00:01:00 -t 4 -vcodec copy out.mp4 # 持续时长4s
$ ffmpeg -i in.mp4 -sseof -10 -vcodec copy out.mp4 # 末尾截取10s
$ ffmpeg -ss 00:01:00 -i in.mp4 -to 00:05:00 -vcodec copy out.mp4 # 调换数据，关键帧技术加速处理。但是得到的视频时间不一定准确
$ ffmpeg -ss 00:01:00 -i in.mp4 -to 00:05:00 -vcodec copy -copyts out.mp4 # 保留时间戳，更准确
$ ffmpeg -i "concat:01.mp4|02.mp4|03.mp4" -c copy out.mp4 # 合并视频。不建议合并不同类型数据！
# 可以试试 avidemux，基于 ffmpeg 的另一个开源工具，专用与裁剪合并的。ffmpeg 万能但是底层（就像c语言hh），应用的时候可以多尝试上层技术。

视频截图，添加水印，导出 gif

$ ffmpeg -i in.mp4 -ss 00:05:00 -vframes 1 img.jpg # 5s 处截一张图
$ ffmpeg -i in.mp4 -i logo.png -filter_complex "overlay=20:20" out.mp4 # 距离左上角坐标：20 20 的位置添加此图片水印
$ ffmpeg -i in.mp4 -ss 00:01:00 -to 00:05:00 -s 640x320 -r 15 -out.gif # 导出 gif

屏幕录制

$ ffmpeg -f gdigrab -i desktop rec.mp4
# gdigrab 是 windows 下的录屏工具。不过显示比较多，我 win11 录制失败了。
# 录屏以及录制摄像头推荐工具: obs studio
# 推流：
ffmpeg -re -i rec.mp4 按照网站要求编码 -f flv "my rtmp address/my live stream code"