#《FFMPEG》 学习 第一章

##初始化

```

av_register_all    编解码初始化函数,此函数无参数返回

avcodec_register_all      编码、解析器初始化

avformat_network_init    网络编码初始化,如rtp,udp等协议读取视频信息

avformat_network_deinit  与上面相对立,撤销所有网络初始化

avfilter_register_all    所有滤镜重置<对应 avfilter_uninit>

av_register_input_format  针对AVInputFormat输入的视频信息存储的结构体对象

av_register_output_format 针对AVInputFormat输出的视频信息存储的结构体对象

#注意:ffmpeg所有返回类型小于0是错误,大于等于0表示正确

```

##打开网络(本地)文件

```

AVFormatContext

官网定义为(Format I/O context),一个可视为读取文件的内容存储器。初始化调用avformat_alloc_context()。此结构类型中存储有AVInputFormat和AVOutputFormat两个结构体,分别是解码和编码对应的格式信息。视频存储内容(文件的buffer)存储在priv_data对象中,解码调用avformat_write_header()函数会往里面写入数据,而编码则是avformat_open_input();

#从文件名读取相关信息,返回0是成功读取;文件可以是网络存储也可以是本地存储文件的绝对路径。

// open format context

AVFormatContext* ifmt_ctx = NULL;

if(avformat_open_input(&ifmt_ctx, fileName, NULL, NULL) != 0){

return -1;

}

#如果打开文件成功,从formatContext中读取视频流数据。如mpegts的视频包数据是没有视频头信息的,所有无法读到相关信息,需要注意。如果需要查找制定的流数据,使用av_find_program_from_stream。

// find stream info

if(avformat_find_stream_info(ifmt_ctx, NULL) < 0){

return -1;

}

#获取到流信息之后,我们就可以开始解码了;遍历ifmt_ctx中的所有可用流数据,从中找到编码格式是视频之后,记录当前对应的视频流编码的index值。如果有音频,同样的写法,将编码类型改为AVMEDIA_TYPE_AUDIO。

int videoindex = -1;

for(i = 0; i < ifmt_ctx->nb_streams; i ++)

if(ifmt_ctx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO){

videoindex = i;

break;

}

到此videoindex不等于-1,无论是音频还是视频都是说明文件是可用的。

```

##解码

```

AVCodecContext

这是个结构体,记录视频的编码信息,如视频对应的格式,像素大小,尺寸等等。

// 读取视频的编码信息

AVCodecContext *codecContext = ifmt_ctx->streams[i]->codec;

// 例子

* avcodec_register_all();

* av_dict_set(&opts, "b", "2.5M", 0);

* codec = avcodec_find_decoder(AV_CODEC_ID_H264);

* if (!codec)

*    exit(1);

// 找到解码器,从对应的码流类型中

AVCodec *codec = avcodec_find_decoder(codecContext->codec_id);

// 打开解码器,才能进行解码;如果已知解码的码流是h264数据,可用自动创建,调用avcodec_find_decoder_by_name()或avcodec_find_decoder(AV_CODEC_ID_H264);

avcodec_open2(codecContext, codec,NULL);

// pframe是我们最后解出来的数据,packet是对应的解码时间戳和编码时间戳和对应frame时长;

AVFrame *pFrame = av_frame_alloc();

AVPacket *packet = (AVPacket *)av_malloc(sizeof(AVPacket));

while(av_read_frame(ifmt_ctx, packet) >= 0){

// 对应的视频流记录的index值

if(packet->stream_index == videoindex){

// decode 解码, pFrame即为所需要的数据

avcodec_decode_video2(codecContext, pFrame, &got_picture, packet);

}

}

```

##截图

```

struct SwsContext *img_convert_ctx;

// 设定内容及相关格式,对应的像素

img_convert_ctx = sws_getContext(pCodecCtx->width,

pCodecCtx->height,

pCodecCtx->pix_fmt,

pCodecCtx->width,

pCodecCtx->height,

AV_PIX_FMT_YUV420P,

SWS_BICUBIC,

NULL,

NULL,

NULL);

// 内容填充

sws_scale(img_convert_ctx,

(const uint8_t* const*)pFrame->data,

pFrame->linesize,

0,

pCodecCtx->height,

pFrameYUV->data,

pFrameYUV->linesize);

```

##滤镜

滤镜可以实现链表连接,进行多个设置,下面是我做的完整的滤镜初始化到使用的场景

```

int gp_image_create(AVFilterGraph *filterGraph, AVCodecContext *codecContext, AVFilterContext *src_filter_context, AVFilterContext *sink_filter_context, gp_filter_type type){

avfilter_register_all();

int ret = 0;

char args[512];

// 创建水印的滤镜,根据名称查找对应的水印

AVFilter *src_filter = avfilter_get_by_name("buffer");

AVFilter *sink_filter = avfilter_get_by_name("buffersink");

/* 输入或输出的过滤链 */

AVFilterInOut *outputs = avfilter_inout_alloc();

AVFilterInOut *inputs  = avfilter_inout_alloc();

// 像素格式,yuv420

enum AVPixelFormat pix_formats[] = { AV_PIX_FMT_YUV420P, AV_PIX_FMT_NONE };

// 初始化过滤器图形

filterGraph = avfilter_graph_alloc();

// 是否初始化成功

if (!outputs || !inputs || !filterGraph) {

perror(">>>>>>>>>>>>>  初始化失败 \n");

goto end;

}

/* buffer video source: the decoded frames from the decoder will be inserted here. */

snprintf(args, sizeof(args), "video_size=%dx%d:pix_fmt=%d:time_base=%d/%d:pixel_aspect=%d/%d",

codecContext->width, codecContext->height, codecContext->pix_fmt,

codecContext->time_base.num, codecContext->time_base.den,

codecContext->sample_aspect_ratio.num, codecContext->sample_aspect_ratio.den);

// 创建和添加过滤器实例到现有的图形,输入

ret = avfilter_graph_create_filter(&src_filter_context, src_filter, "in", args, NULL, filterGraph);

if (ret < 0) {

perror(">>>>>>>>>>>>>  无法创建过滤器的图形 \n");

goto end;

}

// 创建和添加过滤器实例到现有的图形,输出

ret = avfilter_graph_create_filter(&sink_filter_context, sink_filter, "out", NULL, NULL, filterGraph);

if (ret < 0) {

perror(">>>>>>>>>>>>>  无法创建过滤器的图形 \n");

goto end;

}

// Set a binary option to an integer list. 从证书列表中查找flag选项,得到视频像素格式

ret = av_opt_set_int_list(sink_filter_context, "pix_fmts", pix_formats, AV_PIX_FMT_NONE, AV_OPT_SEARCH_CHILDREN);

if (ret < 0) {

perror(">>>>>>>>>>>>  不能设置输出的像素格式 \n");

goto end;

}

// 过滤graph的终点

outputs->name = av_strdup("in");

outputs->filter_ctx = src_filter_context;

outputs->pad_idx = 0;

outputs->next = NULL;

inputs->name = av_strdup("out");

inputs->filter_ctx = sink_filter_context;

inputs->pad_idx = 0;

inputs->next = NULL;

// 将filters描述读取成图像信息

ret = avfilter_graph_parse_ptr(filterGraph, gp_filter_description(type), &inputs, &outputs, NULL);

if (ret < 0) {

perror(">>>>>>>>>>>>  不能从描述信息中读取图形, 更正描述信息  ");

printf("description = %s \n",gp_filter_description(type));

goto end;

}

// 检查有效性,并配置所有的链接和格式的图形

ret = avfilter_graph_config(filterGraph, NULL);

if (ret < 0) {

perror(">>>>>>>>>>>  图形无效  \n");

goto end;

}

#if 此处为解码处帧并对帧处理后得到新的帧数据即为过滤后的数据

AVFrame *frame = av_frame_alloc();

AVFrame *newFrame = av_frame_alloc();

// 向缓冲区加入一帧数据

ret = av_buffersrc_add_frame_flags(buffersrc_ctx, frame, AV_BUFFERSRC_FLAG_KEEP_REF);

// 从缓冲区获取输出的一帧数据 newFrame即为过滤后的视频帧数据

ret = av_buffersink_get_frame(buffersink_ctx, newFrame);

#endif

return 0;

end:

avfilter_inout_free(&inputs);

avfilter_inout_free(&outputs);

if (filterGraph != NULL) avfilter_graph_free(&filterGraph);

return -1;

}

```

##水印

```

AVFilterContext *gp_overlay_create(AVFilterGraph *filterGraph){

int ret = 0;

AVDictionary *overlayOptions;

// 创建水印的滤镜,根据名称查找对应的水印

AVFilter *overlayFilter = avfilter_get_by_name("overlay");

// 可视为水印的实例对象,用于管理overlayFilter <创建一个新的过滤器实例>

AVFilterContext *overlayContext = avfilter_graph_alloc_filter(filterGraph, overlayFilter, "overlay");

// 是否创建成功

if (!overlayContext){

perror(">>>>>>>>>>> 创建滤镜失败  \n");

return NULL;

}

// 设置位置  x轴,y轴

av_dict_set(&overlayOptions, "x", "0", 0);

av_dict_set(&overlayOptions, "y", "0", 0);

// main是主滤镜,可以当做是背板之上的,前景之下的;overlay可以当做是背板

av_dict_set(&overlayOptions, "main_w", "100", 0);

av_dict_set(&overlayOptions, "main_h", "100", 0);

// 设置水印的覆盖范围

av_dict_set(&overlayOptions, "overlay_w", "120", 0);

av_dict_set(&overlayOptions, "overlay_h", "120", 0);

// 根据可选参数初始化过滤器实例

ret = avfilter_init_dict(overlayContext, &overlayOptions);

if (ret < 0) {

perror(">>>>>>>>>>> 初始化过滤器实例出错  \n");

return NULL;

}

// 释放可选参数容器

av_dict_free(&overlayOptions);

// 过滤器是可以多个进行链接的,可调用下面函数将水印的滤镜添加到目标滤镜上,将两个过滤器连接到一起; 默认设置0 index of input pad

//avfilter_link(overlayContext, 0, <#AVFilterContext *dst#>, 0);

/*

// connect inputs and outputs

if (err >= 0) err = avfilter_link(buffersrc_ctx, 0, filter_ctx, 0);

if (err >= 0) err = avfilter_link(filter_ctx, 0, buffersink_ctx, 0);

if (err < 0) {

av_log(NULL, AV_LOG_ERROR, "error connecting filters\n");

return err;

}

err = avfilter_graph_config(filter_graph, NULL);

*/

return overlayContext;

}

```

你可能感兴趣的:(#《FFMPEG》 学习 第一章)