视频转码 via FFmpeg

转码（transcoding）其实就是把音频从一种编码转换成另一种编码的过程，如 mpg2 → h.264。基本流程如下图：

FFmpeg 简介

FFmpeg 是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。采用 LGPL 或 GPL 许可证。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的音频 / 视频编解码库 libavcodec，为了保证高可移植性和编解码质量，libavcodec 里很多 code 都是从头开发的。

FFmpeg 在 Linux 平台下开发，但它同样也可以在其它操作系统环境中编译运行，包括 Windows、Mac OS X 等。这个项目最早由 Fabrice Bellard 发起，2004 年至 2015 年间由 Michael Niedermayer 主要负责维护。许多 FFmpeg 的开发人员都来自 MPlayer 项目，而且当前 FFmpeg 也是放在 MPlayer 项目组的服务器上。项目的名称来自 MPEG 视频编码标准，前面的 “FF” 代表 “Fast Forward”。

FFmpeg 命令行转码

FFmpeg 提供了命令行的方式对视频（含音频）进行转码：

>ffmpeg.exe -i test.mp4 -s 640*360 test.mpg
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'test.mp4':
  Metadata:
    Duration: 00:00:01.90, start: 0.000000, bitrate: 14050 kb/s
    Stream #0:0(eng): Video: h264 (Main) (avc1 / 0x31637661), yuv420p(tv, bt709), 1920x1080 [SAR 1:1 DAR 16:9], 13912 kb/s, 30 fps, 30 tbr, 30k tbn, 60 tbc (default)
    Metadata:
      encoder         : AVC Coding
    Stream #0:1(eng): Audio: aac (LC) (mp4a / 0x6134706D), 32000 Hz, stereo, fltp, 130 kb/s (default)
Stream mapping:
  Stream #0:0 -> #0:0 (h264 (native) -> mpeg1video (native))
  Stream #0:1 -> #0:1 (aac (native) -> mp2 (native))
Output #0, mpeg, to 'test.mpg':
  Metadata:
    encoder         : Lavf58.20.100
    Stream #0:0(eng): Video: mpeg1video, yuv420p(progressive), 640x360 [SAR 1:1 DAR 16:9], q=2-31, 200 kb/s, 30 fps, 90k tbn, 30 tbc (default)
    Metadata:
      encoder         : Lavc58.35.100 mpeg1video
    Side data:
      cpb: bitrate max/min/avg: 0/0/200000 buffer size: 0 vbv_delay: -1
    Stream #0:1(eng): Audio: mp2, 32000 Hz, stereo, s16, 384 kb/s (default)
    Metadata:
      encoder         : Lavc58.35.100 mp2
frame=56 fps=0.0 q=31.0 Lsize=230kB time=00:00:01.89 bitrate=993.2kbits/s speed=3.79x
video:134kB audio:91kB subtitle:0kB other streams:0kB global headers:0kB muxing overhead: 2.332372%

FFmpeg API 转码

Transcoding 流程图

Transcoding 代码

以下是整个转码过程的概要代码，略去各个函数的具体实现和资源释放：

本文中的代码基于 FFmpeg 4.1。

int video_index = open_input_file(in_file, AVMEDIA_TYPE_VIDEO, &in_fmt_ctx, &dec_ctx);
double frame_rate = av_q2d(av_guess_frame_rate(in_fmt_ctx, in_fmt_ctx->streams[video_index], NULL));

hr = open_output_video_file(out_file, dec_ctx, 400 * 1000, (int)ceil(frame_rate), &out_fmt_ctx, &enc_ctx);

if (is_hw_dec) 
    hr = hw_decoder.init(hw_type_name, dec_ctx);

hr = init_cvt_frame_and_sws(AV_PIX_FMT_YUV420P, dec_ctx, &yuv420p_frame, &yuv420p_buffer, &sws_ctx);
hr = avformat_write_header(out_fmt_ctx, NULL);

while (_kbhit() == 0) {
    int finished = 0;
    hr = video_transcode(
        in_fmt_ctx, dec_ctx, 
        out_fmt_ctx, enc_ctx,
        video_index, yuv420p_frame, 
        sws_ctx, &finished );
    if (finished)
        break;
}

flush_encoder(out_fmt_ctx, enc_ctx, false, false);
hr = av_write_trailer(out_fmt_ctx);

open_input_file 函数

请看 这里，一模一样。

open_output_video_file 函数

请看 这里，一模一样。

HW_dec_helper::init 函数

硬解码器的初始化。

int HW_dec_helper::init(char* hw_type_name, AVCodecContext *decoder_ctx, AVCodec *decoder = NULL)
{ 
    AVHWDeviceType hw_type = av_hwdevice_find_type_by_name(hw_type_name);
    RETURN_IF_FALSE(hw_type != AV_HWDEVICE_TYPE_NONE);
    
    if (decoder == NULL)
        decoder = (AVCodec*)decoder_ctx->codec;
    
    for (int i = 0; ; i++) {
        const AVCodecHWConfig *config = avcodec_get_hw_config(decoder, i);
        RETURN_IF_NULL(config);
    
        if (config->methods & AV_CODEC_HW_CONFIG_METHOD_HW_DEVICE_CTX &&
            config->device_type == hw_type) {
                m_hw_pix_fmt = config->pix_fmt;
                break;
        }
    }
    
    decoder_ctx->get_format = get_hw_format;
    int hr = av_hwdevice_ctx_create(&m_hw_device_ctx, hw_type, NULL, NULL, 0);
    RETURN_IF_FAILED(hr);
    
    decoder_ctx->hw_device_ctx = av_buffer_ref(m_hw_device_ctx);
    return 0;
}

init_cvt_frame_and_sws 函数

请看 这里，一模一样。

video_transcode 函数

解码 → 色彩空间转换 → 编码 的过程。

    const int output_frame_size = enc_ctx->frame_size;
    std::vector<AVFrame*> decoded_frames;
    while (true) {
        hr = decode_av_frame(in_fmt_ctx, dec_ctx, video_index, decoded_frames, finished);   
             
        for (size_t dec_frame_idx = 0; dec_frame_idx < decoded_frames.size(); ++dec_frame_idx) {
            AVFrame* frame = decoded_frames[dec_frame_idx];
            // convert to YUV420P format
            int height = sws_scale(sws_ctx, (const uint8_t* const*)frame->data, frame->linesize, 0, 
                dec_ctx->height, yuv420p_frame->data, yuv420p_frame->linesize);    
                        
            av_frame_copy_props(yuv420p_frame, frame);
            yuv420p_frame->pict_type = AV_PICTURE_TYPE_NONE;
            
            int data_written = 0;
            hr = encode_av_frame(yuv420p_frame, out_fmt_ctx, enc_ctx, &data_written, interleaved, init_pts);
            if (hr == AVERROR(EAGAIN))
                continue;
            GOTO_IF_FAILED(hr);
        }
        
        if (SUCCEEDED(hr))
            break;
    }
    
    if (*finished)
        flush_encoder(out_fmt_ctx, enc_ctx, interleaved, init_pts);

decode_av_frame 函数

这里和之前的解码函数不一样的地方就是增加了硬解码的处理。

init_packet(&input_packet);

while (true) {
    hr = av_read_frame(in_fmt_ctx, &input_packet);
    if (hr == AVERROR_EOF)
        *finished = 1;
    else
        av_packet_rescale_ts(&input_packet, in_fmt_ctx->streams[input_packet.stream_index]->time_base, in_codec_ctx->time_base);
        
    hr = avcodec_send_packet(in_codec_ctx, *finished ? NULL : &input_packet);
    
    if (SUCCEEDED(hr) || (hr == AVERROR(EAGAIN))) {
        while (true) {
            frame = av_frame_alloc();
            hr = avcodec_receive_frame(in_codec_ctx, frame);
            if (SUCCEEDED(hr)) {
                // decoded by hardware
                AVFrame* sw_frame = HW_dec_helper::convert_frame(frame);
                frames.push_back(sw_frame);
                av_frame_free(&frame);
            } 
            else if (hr == AVERROR_EOF) {
                *finished = 1;
                break;
            }
            else if (hr == AVERROR(EAGAIN)) // need more packets
                break;
        }
    } 
    else if (hr == AVERROR_EOF)
        *finished = 1;
    if (*finished || !frames.empty())
        break;
}

HW_dec_helper::convert_frame 函数

从显存中拷贝 frame 到内存中。

AVFrame* HW_dec_helper::convert_frame(AVFrame* frame)
{
    if (frame->format == m_hw_pix_fmt) {
        AVFrame* sw_frame = av_frame_alloc();
        int hr = av_hwframe_transfer_data(sw_frame, frame, 0);
        GOTO_LABEL_IF_FAILED(hr, OnErr);

        av_frame_copy_props(sw_frame, frame);
        return sw_frame;

    OnErr:
        if (NULL != sw_frame)
            av_frame_free(&sw_frame);
        return NULL;
    }
    else
        return frame;
}

encode_av_frame 函数

请看 这里，一模一样。

flush_encoder 函数

请看 这里，一模一样。

其他框架的转码

关于 Media Foundation 的视频转码请参考 这里。

– EOF –