十分钟学会如何开发一个音频播放器（ffmpeg3.2+sdl2.0）
十分钟学会如何开发一个音频播放器（ffmpeg3.2+SDL2.0）
- 前言
- 媒体播放器的原理
- 创建一个音频播放器的步骤
- 源码分析
- 一、定义一些基本的参数
- 二、解析文件信息
- 三、创建解码器，配置音频参数
- 四、开始读取音频包(AVPacket)
- 五、不断地给音频回调“喂食”（ *sdl_audio_callback* ）
前言
这套教程是使用ffmpeg3.2+SDL2.0开发的。这两个版本跟之前版本的函数有了很大的改变，但基本的原理还是一致的。在阅读时请注意自身使用的版本。本篇的源码已提交在github上：https://github.com/XP-online/audio-player
媒体播放器的原理
媒体播放器的播放原理很简单：一个媒体文件文件如mp4，mp3等内部储存着几个AV流，一般包含视频流，音频流有的还有字幕流等。而每个流里都是有若干个包(packet)组成的。包中储存的就是最重要的信息“帧”(frame)，帧中储存的数据就是我们需要的视频或音频等的原始数据。
不过包(packet)内的信息被编码过了，所以播放器需要找到这些包并解编码出每一帧，将这些帧中的数据或传给操作系统播放出来（如音频播放就是通过操作系统播放的）或者按照我们自己的方式处理（如视频信息我们可以在获得每一帧的图像信息后，通过任何我们想要的方式显示）。
创建一个音频播放器的步骤
本篇我们先说一下创建一个音频播放器的步骤。在这里我们有必要在强调一下音频播放的原理即：找到音频流 —— 读取音频流中的包 —— 解编码包并获取音频帧 —— 将音频帧的数据给操作系统让操作系统将音频播放出来。那么我们的具体操作步骤如下所示：
- 读取AV文件格式信息和音频或视频流的索引（ avformat_open_input ，avformat_find_stream_info ）。
- 找到解码器，并设置解码器参数（ avcodec_find_decoder ，avcodec_parameters_to_context ，avcodec_open2 ）以及sdl的重采样相关参数。
- 循环调用 av_read_frame 不断从音频流里读取packet。
- 使用 avcodec_send_packet 和 avcodec_receive_frame 相配合不断地将packet送入解码器，并从解码器中读取解码后的frame。
- 对解码后的frame的采样率进行转换（ swr_convert ）。
- 在sdl的回调中将设置好的数据放入系统指定的地址中。系统将根据传入的数据播放声音（ sdl_audio_callback ）。
源码分析
在这里的代码主要是为了便于理解音频播放的原理。设计时的代码逻辑，变量位置，类型也是基于这一个目的设计的。大家完全可以在看懂了之后按照自己的方式设计代码逻辑。
一、定义一些基本的参数
这里定义一些全局变量。每个变量的意义后面有注释，具体的用法下文会提到。
#define MAX_AUDIO_FRAME_SIZE 192000 // 1 second of 48khz 32bit audio
//swr
struct SwrContext* au_convert_ctx; // 重采样上下文
int out_buffer_size; // 重采样后的缓冲区
uint8_t* out_buffer; // sdl调用音频数据的缓冲区
//audio decode
int au_stream_index = -1; // 音频流在文件中的位置
AVFormatContext* pFormatCtx = nullptr; // 文件上下文
AVCodecParameters* audioCodecParameter; // 音频解码器参数
AVCodecContext* audioCodecCtx = nullptr; // 音频解码器上下文
AVCodec* audioCodec = nullptr; // 音频解码器
// sdl
static Uint32 audio_len; // 音频数据缓冲区中未读数据剩余的长度
static Uint8* audio_pos; // 音频缓冲区中读取的位置
SDL_AudioSpec wanted_spec; // sdl播放音频的参数
二、解析文件信息
首先我们需要获取基本的文件信息（ avformat_open_input ），和文件中的流信息（ avformat_find_stream_info ）。有了这些信息我们才可以去创建配置ffmpeg的音频解码器。
//初始化ffmpeg的组件
av_register_all();
//读取文件头的文件基本信息到pFormateCtx中
pFormatCtx = avformat_alloc_context();
if (avformat_open_input(&pFormatCtx, filePath, nullptr, nullptr) != 0) {
printf_s("avformat_open_input failed\n");
system("pause");
return -1;
}
// 在文件中找到文件中的音频流或视频流等“流”信息
if (avformat_find_stream_info(pFormatCtx, nullptr) < 0) {
//异常处理...
}
// 找到音频流的位置
for (unsigned i = 0; i < pFormatCtx->nb_streams; ++i) {
if (AVMEDIA_TYPE_AUDIO == pFormatCtx->streams[i]->codecpar->codec_type) {
au_stream_index = i;
continue;
}
}
if (-1 == au_stream_index) {
//异常处理...
}
三、创建解码器，配置音频参数
在正式的读取文件中的音频包之前，我们先要创建对应的解码器以及配置音频的参数。这一部分较细节较多，稍有不慎都可能导致音频的声音不正确。整个流程大致可分为：从音频流中读取原始音频参数 —— 通过音频参数创建配置解码器 —— 根据自身机器的音频输出方式配置重采样器 —— 配置sdl音频播放参数 。我在这里创建了一个函数专门用来处理这些问题。
// 初始化编码器，重采样器所需的各项参数
int init_audio_parameters() {
// 获取音频解码器参数
audioCodecParameter = pFormatCtx->streams[au_stream_index]->codecpar;
// 获取音频解码器
audioCodec = avcodec_find_decoder(audioCodecParameter->codec_id);
if (audioCodec == nullptr) {
printf_s("audio avcodec_find_decoder failed.\n");
return -1;
}
// 获取解码器上下文
audioCodecCtx = avcodec_alloc_context3(audioCodec);
if (avcodec_parameters_to_context(audioCodecCtx, audioCodecParameter) < 0) {
printf_s("audio avcodec_parameters_to_context failed\n");
return -1;
}
// 根据上下文配置音频解码器
avcodec_open2(audioCodecCtx, audioCodec, nullptr);
// -------------------设置重采样相关参数-------------------------//
uint64_t out_channel_layout = AV_CH_LAYOUT_STEREO; // 双声道输出
int out_channels = av_get_channel_layout_nb_channels(out_channel_layout);
AVSampleFormat out_sample_fmt = AV_SAMPLE_FMT_S16; // 输出的音频格式
int out_sample_rate = 44100; // 采样率
int64_t in_channel_layout = av_get_default_channel_layout(audioCodecCtx->channels); //输入通道数
audioCodecCtx->channel_layout = in_channel_layout;
au_convert_ctx = swr_alloc(); // 初始化重采样结构体
au_convert_ctx = swr_alloc_set_opts(au_convert_ctx, out_channel_layout, out_sample_fmt, out_sample_rate,
in_channel_layout, audioCodecCtx->sample_fmt, audioCodecCtx->sample_rate, 0, nullptr); //配置重采样率
swr_init(au_convert_ctx); // 初始化重采样率
int out_nb_samples = audioCodecCtx->frame_size;
// 计算出重采样后需要的buffer大小，后期储存转换后的音频数据时用
out_buffer_size = av_samples_get_buffer_size(NULL, out_channels, out_nb_samples, out_sample_fmt, 1);
out_buffer = (uint8_t*)av_malloc(MAX_AUDIO_FRAME_SIZE * 2);
// -------------------设置 SDL播放音频时的参数 ---------------------------//
wanted_spec.freq = out_sample_rate;//44100;
wanted_spec.format = AUDIO_S16SYS;
wanted_spec.channels = out_channels;
wanted_spec.silence = 0;
wanted_spec.samples = out_nb_samples;
wanted_spec.callback = sdl_audio_callback; //sdl系统会掉。上面有说明
wanted_spec.userdata = nullptr; // 回调时想带进去的参数
// SDL打开音频播放设备
if (SDL_OpenAudio(&wanted_spec, NULL) < 0) {
printf_s("can't open audio.\n");
return -1;
}
// 暂停/播放音频，参数为0播放音频，非0暂停音频
SDL_PauseAudio(0);
return 0;
}
这里wanted_spec.callback = sdl_audio_callback;设置的回调函即为sdl播放音频时不断获取音频数据的回调函数。下文中会对此做专门的说明。这里只需要知道sdl通过这个函数来获取所需的音频数据进行播放的即可。
可以看到在设置重采样这一部分的参数类型非常多。我对这些参数类型所表示意义也不是很了解。欢迎多来沟通。
四、开始读取音频包(AVPacket)
现在终于可以开始读取音频包了！从文件中读取音频包非常简单，只需要循环调用 av_read_frame 即可，他将会把读到的包存入到作为参数传入的AVPacket中，之后在将其解包既可以得到我们想要的AVFrame（帧），帧里储存的即为原始的音频数据。
AVPacket packet;
AVFrame* pFrame = NULL;
// 开始读取文件中编码后的音频数据，并将读到的数据储存在
while (av_read_frame(pFormatCtx, &packet) >= 0)
{
if (packet.stream_index == au_stream_index)
{
if (!pFrame)
{
if (!(pFrame = av_frame_alloc()))
{
printf_s("Could not allocate audio frame\n");
system("pause");
exit(1);
}
}
if (packet.size) {
// 对读取到的pkt解码，并将数据传递给音频数据缓冲区
decode_audio_packet(audioCodecCtx, &packet, pFrame);
}
av_frame_unref(pFrame);
av_packet_unref(&packet);
}
}
这里我将解码部分的代码单独拿了出来，以使得整体结构较为清晰。
// 将读取到的一个音频pkt解码成avframe。avframe中的数据就是原始的音频数据
void decode_audio_packet(AVCodecContext * code_context, AVPacket * pkt, AVFrame * frame)
{
int i, ch;
int ret, data_size;
// ffmpeg3.2版本后推荐使用的方式，将一个pkt发送给解码器。之后在avcodec_receive_frame中取出解码后的avframe
ret = avcodec_send_packet(code_context, pkt);
if (ret < 0)
{
printf_s("Error submitting the packet to the decoder\n");
system("pause");
exit(1);
}
// 不断尝试取出音频数据，直到无法再取出
while (ret >= 0)
{
ret = avcodec_receive_frame(code_context, frame); // 前文已经介绍，在此处取出原始音频数据
if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) //该帧目前无法解出，需要再发送一个pkt
return;
else if (ret < 0)
{
printf_s("Error during decoding\n");
system("pause");
exit(1);
}
// 将音频的采样率转换成本机能播出的采样率
swr_convert(au_convert_ctx, &out_buffer, out_buffer_size,
(const uint8_t * *)frame->data, code_context->frame_size);
while (audio_len > 0) // 在此处等待sdl_audio_callback将之前传递的音频数据播放完再向其中发送新的数据
SDL_Delay(1);
// 将读取到的数据存入音频缓冲区
audio_len = out_buffer_size; // 记录音频数据的长度
audio_pos = (Uint8*)out_buffer;
}
}
可以看到最后我们将音频数据放入了音频缓冲区（ out_buffer ），这里缓冲区是我之前在 init_audio_parameters 中最后注册的 sdl_audio_callback 函数获取音频数据的数据源。每当系统需要音频数据就会调用我们 sdl_audio_callback 函数从这里取出数据，如果缓冲区的数据全部被读取完，则将刚解码完的音频数据重新放入缓冲区。不断重复这个过程直到音频播放完毕。
五、不断地给音频回调“喂食”（ sdl_audio_callback ）
最后的最后，系统会根据采样率自动控制音频的播放速率。因此我们只需不断地给系统提供数据即可。下面让我们来完成系统不断调用的 sdl_audio_callback 回调函数。
// sdl配置中的系统播放音频的回调。
// udata：我们自己设置的参数，
// stream：系统读取音频数据的buffer由我们在这个函数中把音频数据拷贝到这个buffer中，
// len：系统希望读取的长度（可以比这个小，但不能给多）
void sdl_audio_callback(void* udata, Uint8* stream, int len)
{
//SDL 2.0之后的函数。很像memset在这里用来清空指定内存
SDL_memset(stream, 0, len);
if (audio_len == 0)
return;
len = ((Uint32)len > audio_len ? audio_len : len); //比较剩余未读取的音频数据的长度和所需要的长度。尽最大可能的给予其音频数据
SDL_MixAudio(stream, audio_pos, len, SDL_MIX_MAXVOLUME); //SDL_MixAudio的作用和memcpy类似，这里将audio_pos的数据传递给stream
//audio_pos是记录out_buffer（存放我们读取音频数据的缓冲区）当前读取的位置
//audio_len是记录out_buffer剩余未读数据的长度
audio_pos += len; //audio_pos前进到新的位置
audio_len -= len; //audio_len的长度做相应的减少
}
这里有三个参数，
- udata：使我们希望在回调中调用的数据。通常是自定义的变量。在本例中不需要，所以没有处理。
- stream：系统给出的缓存区。需要我们来填充，系统来调用。
- len：stream的大小。我们可以传入的数据比这个小，但不能比这个数值大。不然会产生溢出。
在最后对我们设置音频数据缓冲区（ out_buffer ）的剩余大小和读取位置坐了计算：
audio_pos是用来记录我们音频数据的缓冲区当前读取的位置，它随着每次回调不断前进。
audio_len 是用来记录缓存区未读取的长度。它随着每次回调不断减少。减少零时重新给缓冲区赋值。