提取测试文件
ffmpeg -i test_1280x720.flv -t 5 -r 25 -pix_fmt yuv420p yuv420p_1280x720.yuv
使用ffmpeg命令从flv文件提取出YUV文件 yuv420p_1280x720.yuv 作为编码程序的输入文件
FFmpeg YUV编码出H264 流程
从本地读取YUV数据编码为h264格式的数据，然后再存⼊到本地，编码后的数据有带startcode。 000000001 | 00000001
函数说明：
- avcodec_find_encoder_by_name：根据指定的编码器名称查找注册的编码器。
- avcodec_alloc_context3：为AVCodecContext分配内存。
- avcodec_open2：打开编解码器。
- avcodec_send_frame：将AVFrame⾮压缩数据给编码器。。
- avcodec_receive_packet：获取到编码后的AVPacket数据。
- av_frame_get_buffer: 为⾳频或视频数据分配新的buffer。在调⽤这个函数之前，必须在AVFame上设置好以下属性：format(视频为像素格式，⾳频为样本格式)、nb_samples(样本个数，针对⾳频)、channel_layout(通道类型，针对⾳频)、width/height(宽⾼，针对视频）。
- av_frame_make_writable：确保AVFrame是可写的，尽可能避免数据的复制。 如果AVFrame不是是可写的，将分配新的buffer和复制数据。
- av_image_fill_arrays: 存储⼀帧像素数据存储到AVFrame对应的data buffer。
编码出来的h264数据可以直接使⽤ffplay播放
ffplay yuv420p_1280x720.h264
av_image_get_buffer_size
int av_image_get_buffer_size(enum AVPixelFormat pix_fmt, int width, int height, int align);
函数的作⽤是通过指定像素格式、图像宽、图像⾼来计算所需的内存⼤⼩
重点说明⼀个参数align:此参数是设定内存对⻬的对⻬数，也就是按多⼤的字节进⾏内存对⻬：
- ⽐如设置为1，表示按1字节对⻬，那么得到的结果就是与实际的内存⼤⼩⼀样。
1280*720*1.5 - 再⽐如设置为4，表示按4字节对⻬。也就是内存的起始地址必须是4的整倍数。
av_image_alloc
av_image_alloc()是这样定义的。此函数的功能是按照指定的宽、⾼、像素格式来分配图像内存。
int av_image_alloc(uint8_t *pointers[4], int linesizes[4], int w, int h, enum AVPixelFormat pix_fmt, int align);
- pointers[4]：保存图像通道的地址。如果是RGB，则前三个指针分别指向R,G,B的内存地址。第四个指针保留不⽤ linesizes[4]：保存图像每个通道的内存对⻬的步⻓，即⼀⾏的对⻬内存的宽度，此值⼤⼩等于图像宽度。
- w: 要申请内存的图像宽度。
- h: 要申请内存的图像⾼度。
- pix_fmt: 要申请内存的图像的像素格式。
- align: ⽤于内存对⻬的值。
- 返回值：所申请的内存空间的总⼤⼩。如果是负值，表示申请失败。
av_image_fill_arrays
int av_image_fill_arrays(uint8_t *dst_data[4], int dst_linesize[4], const uint8_t *src, enum AVPixelFormat pix_fmt, int width, int height, int align);
av_image_fill_arrays()函数⾃身不具备内存申请的功能，此函数类似于格式化已经申请的内存，即通过 av_malloc()函数申请的内存空间，或者av_frame_get_buffer()函数申请的内存空间。
av_image_fill_arrays()中参数具体说明：
- dst_data[4]： [out]对申请的内存格式化为三个通道后，分别保存其地址
- dst_linesize[4]: [out]格式化的内存的步⻓（即内存对⻬后的宽度)
- *src: [in]av_alloc()函数申请的内存地址。
- pix_fmt: [in] 申请 src内存时的像素格式
- width: [in]申请src内存时指定的宽度
- height: [in]申请scr内存时指定的⾼度
- align: [in]申请src内存时指定的对⻬字节数。
H.264 码率设置
1 什么是视频码率
视频码率是视频数据（包含视频⾊彩量、亮度量、像素量）每秒输出的位数。⼀般⽤的单位是kbps。
2 设置视频码率的必要性
在视频会议应用中，视频质量和网络带宽占用是矛盾的，通常情况下视频流占用的带宽越高则视频质量也越高；如要求高质量的视频效果，那么需要的网络带宽也越大；解决这一矛盾的钥匙当然是视频编解码技术。评判一种视频编解码技术的优劣，是比较在相同的带宽条件下，哪个视频质量更好；在相同的视频质量条件下，哪个占用的网络带宽更少。
是不是视频码率越高，质量越好呢？理论上是这样的，然而在我们肉眼分辨的范围内，当码率高到一定程度，感觉没有什么差别。所以码率设置有它的最优值，H.264（也叫AVC或X.264）的文档中，视频的建议码率如下：
| 视频大小 | 分辨率 | 建议码率 |
|---|---|---|
| 480P | 720X480 | 1800Kbps |
| 720P | 1280X720 | 3500Kbps |
| 1080P | 1920X1080 | 8500Kbps |
3、手机设置码率建议
通过上面的介绍，结合我做过的一些手机项目，我总结了一套设置码率的公式，分享给大家如下：
| 项目 | 计算公式 | 192X144 | 320X240 | 480X360 | 640X480 | 1280X720 | 1920X1080 |
|---|---|---|---|---|---|---|---|
| 极低码率 | （宽X高X3）/4 | 30kb/s | 60kb/s | 120kps | 250kbps | 500kbps | 1mbps |
| 低码率 | （宽X高X3）/2 | 60kb/s | 120kb/s | 250kbps | 500kbps | 1mbps | 2mbps |
| 中码率 | （宽X高X3) | 120kb/s | 250kb/s | 500kbps | 1mbps | 2mbps | 4mbps |
| 高码率 | （宽X高X3）X 2 | 250kb/s | 500kb/s | 1mbps | 2mbps | 4mbps | 8mps |
| 极高码率 | （宽X高X3）X4 | 500kb/s | 1mb/s | 2mbps | 4mbps | 8mbps | 16mbps |
FFmpeg与H264编码指南
鉴于x264的参数众多，各种参数的配合复杂，为了使⽤者⽅便，x264建议如⽆特别需要可使 ⽤preset和tune设置。这套开发者推荐的参数较为合理，可在此基础上在调整⼀些具体参数以符合⾃⼰需要，⼿动设定的参数会覆盖preset和tune⾥的参数。
使⽤ffmpeg -h encoder=libx264 命令查询相关⽀持的参数
ffmpeg -h encoder=libx264
x264是⼀个 H.264/MPEG4 AVC 编码器，本指南将指导新⼿如何创建⾼质量的H.264视频。 对于普通⽤户通常有两种码率控制模式：CRF（Constant Rate Factor)和Two pass ABR。码率控制是⼀种决定为每⼀个视频帧分配多少⽐特数的⽅法，它将决定⽂件的⼤⼩和质量的分配。
如果你在编译和安装libx264 ⽅⾯需要帮助，请查看ffmpeg和x264编译指南：http://ffmpeg.org/trac/ffmpeg/wiki/CompilationGuide
CRF（Constant Rate Factor)：
1 选择⼀个CRF值
量化⽐例的范围为0~51，其中0为⽆损模式，23为缺省值，51可能是最差的。该数字越⼩，图像质量越 好。从主观上讲，18~28是⼀个合理的范围。18往往被认为从视觉上看是⽆损的，它的输出视频质量和输 ⼊视频⼀模⼀样或者说相差⽆⼏。但从技术的⻆度来讲，它依然是有损压缩。
若CRF值加6，输出码率⼤概减少⼀半；若CRF值减6，输出码率翻倍。通常是在保证可接受视频质量的前提下选择⼀个最⼤的CRF值，如果输出视频质量很好，那就尝试⼀个更⼤的值，如果看起来很糟，那就尝 试⼀个⼩⼀点值。
本⽂所提到的量化⽐例只适⽤于8-bit x264（10-bit x264的量化⽐例 为0~63），你可以使⽤x264 --help命令在Output bit depth选项查看输出位深，在各种版本中，8bit是最常⻅的。
2 选择⼀个preset和tune
preset
预设是⼀系列参数的集合，这个集合能够在编码速度和压缩率之间做出⼀个权衡。⼀个编码速度稍慢的预 设会提供更⾼的压缩效率（压缩效率是以⽂件⼤⼩来衡量的)。这就是说，假如你想得到⼀个指定⼤⼩的⽂ 件或者采⽤恒定⽐特率编码模式，你可以采⽤⼀个较慢的预设来获得更好的质量。同样的，对于恒定质量编码模式，你可以通过选择⼀个较慢的预设轻松地节省⽐特率。
如果你很有耐⼼，通常的建议是使⽤最慢的预设。⽬前所有的预设按照编码速度降序排列为：
- ultrafast
- superfast
- veryfast
- faster
- fast
- medium – default preset
- slow
- slower
- veryslow
- placebo - ignore this as it is not useful (see FAQ)
默认为medium级别。
tune
tune是x264中重要性仅次于preset的选项，它是视觉优化的参数，tune可以理解为视频偏好（或者视频类型），tune不是⼀个单⼀的参数，⽽是由⼀组参数构成-tune来改变参数设置。当前的 tune包括：
- film：电影类型，对视频的质量⾮常严格时使⽤该选项
- animation：动画⽚，压缩的视频是动画⽚时使⽤该选项
- grain：颗粒物很重，该选项适⽤于颗粒感很重的视频
- stillimage：静态图像，该选项主要⽤于静⽌画⾯⽐较多的视频
- psnr：提⾼psnr，该选项编码出来的视频psnr⽐较⾼
- ssim：提⾼ssim，该选项编码出来的视频ssim⽐较⾼
- fastdecode：快速解码，该选项有利于快速解码
- zerolatency：零延迟，该选项主要⽤于视频直播
如果你不确定使⽤哪个选项或者说你的输⼊与所有的tune皆不匹配，你可以忽略--tune 选项。 你可以使⽤-tune来查看tune列表，也可以通过x264 --fullhelp来查看tune所采⽤的参数配置。
profile
另外⼀个可选的参数是-profile:v，它可以将你的输出限制到⼀个特定的 H.264 profile。⼀些⾮常⽼的或者 要被淘汰的设备仅⽀持有限的选项，⽐如只⽀持baseline或者main。
所有的profile 包括：
baseline profile：基本画质。⽀持I/P 帧，只⽀持⽆交错（Progressive）和CAVLC；
extended profile：进阶画质。⽀持I/P/B/SP/SI 帧，只⽀持⽆交错（Progressive）和CAVLC；
main profile：主流画质。提供I/P/B 帧，⽀持⽆交错（Progressive）和交错（Interlaced），也⽀持CAVLC 和CABAC 的⽀持；
high profile：⾼级画质。在main Profile 的基础上增加了8x8内部预测、⾃定义量化、 ⽆损视频编码 和更多的YUV 格式；
YUV编码出H264 程序代码实现
查找指定的编码器
codec = avcodec_find_encoder_by_name(codec_name);
初始化
codec_ctx = avcodec_alloc_context3(codec);
设置编码器参数
/* 设置分辨率*/
codec_ctx->width = 1280;
codec_ctx->height = 720;
/* 设置time base */
codec_ctx->time_base = (AVRational) {1, 25};
codec_ctx->framerate = (AVRational) {25, 1};
/* 设置I帧间隔
* 如果frame->pict_type设置为AV_PICTURE_TYPE_I, 则忽略gop_size的设置，一直当做I帧进行编码
*/
codec_ctx->gop_size = 25; // I帧间隔
codec_ctx->max_b_frames = 2; // 如果不想包含B帧则设置为0
codec_ctx->pix_fmt = AV_PIX_FMT_YUV420P;
/* 设置bitrate */
codec_ctx->bit_rate = 3000000;
将codec_ctx和codec进行绑定
ret = avcodec_open2(codec_ctx, codec, NULL);
if (ret < 0) {
fprintf(stderr, "Could not open codec: %s\n", av_err2str(ret));
exit(1);
}
分配pkt和frame
pkt = av_packet_alloc();
if (!pkt) {
fprintf(stderr, "Could not allocate video frame\n");
exit(1);
}
frame = av_frame_alloc();
if (!frame) {
fprintf(stderr, "Could not allocate video frame\n");
exit(1);
}
// 为frame分配buffer
frame->format = codec_ctx->pix_fmt;
frame->width = codec_ctx->width;
frame->height = codec_ctx->height;
ret = av_frame_get_buffer(frame, 0);
if (ret < 0) {
fprintf(stderr, "Could not allocate the video frame data\n");
exit(1);
}
计算出每一帧的数据 像素格式 * 宽 * 高
int frame_bytes = av_image_get_buffer_size(frame->format, frame->width,
frame->height, 1);
读取YUV数据
memset(yuv_buf, 0, frame_bytes);
size_t read_bytes = fread(yuv_buf, 1, frame_bytes, infile);
if (read_bytes <= 0) {
printf("read file finish\n");
break;
}
格式化已经申请的内存，将YUV数据，格式化放入frame中
int need_size = av_image_fill_arrays(frame->data, frame->linesize, yuv_buf,
frame->format,
frame->width, frame->height, 1);
发送YUV数据进编码器
ret = avcodec_send_frame(enc_ctx, frame);
从编码器中获取encode的packet数据
ret = avcodec_receive_packet(enc_ctx, pkt);
encode的packet数据写入文件
fwrite(pkt->data, 1, pkt->size, outfile);
整体完整程序
#include
#include
#include
#include
#include
#include
#include
int64_t get_time() {
return av_gettime_relative() / 1000; // 换算成毫秒
}
static int encode(AVCodecContext *enc_ctx, AVFrame *frame, AVPacket *pkt,
FILE *outfile) {
int ret;
/* send the frame to the encoder */
if (frame)
printf("Send frame %3"PRId64"\n", frame->pts);
/* 通过查阅代码，使用x264进行编码时，具体缓存帧是在x264源码进行，
* 不会增加avframe对应buffer的reference*/
ret = avcodec_send_frame(enc_ctx, frame);
if (ret < 0) {
fprintf(stderr, "Error sending a frame for encoding\n");
return -1;
}
while (ret >= 0) {
ret = avcodec_receive_packet(enc_ctx, pkt);
if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
return 0;
} else if (ret < 0) {
fprintf(stderr, "Error encoding audio frame\n");
return -1;
}
if (pkt->flags & AV_PKT_FLAG_KEY)
printf("Write packet flags:%d pts:%3"PRId64" dts:%3"PRId64" (size:%5d)\n",
pkt->flags, pkt->pts, pkt->dts, pkt->size);
if (!pkt->flags)
printf("Write packet flags:%d pts:%3"PRId64" dts:%3"PRId64" (size:%5d)\n",
pkt->flags, pkt->pts, pkt->dts, pkt->size);
fwrite(pkt->data, 1, pkt->size, outfile);
}
return 0;
}
int main(int argc, char **argv) {
char *in_yuv_file = NULL;
char *out_h264_file = NULL;
FILE *infile = NULL;
FILE *outfile = NULL;
const char *codec_name = NULL;
const AVCodec *codec = NULL;
AVCodecContext *codec_ctx = NULL;
AVFrame *frame = NULL;
AVPacket *pkt = NULL;
int ret = 0;
if (argc < 4) {
fprintf(stderr, "Usage: %s , argc:%d\n",
argv[0], argc);
return 0;
}
in_yuv_file = argv[1]; // 输入YUV文件
out_h264_file = argv[2];
codec_name = argv[3];
/* 查找指定的编码器 */
codec = avcodec_find_encoder_by_name(codec_name);
if (!codec) {
fprintf(stderr, "Codec '%s' not found\n", codec_name);
exit(1);
}
codec_ctx = avcodec_alloc_context3(codec);
if (!codec_ctx) {
fprintf(stderr, "Could not allocate video codec context\n");
exit(1);
}
/* 设置分辨率*/
codec_ctx->width = 1280;
codec_ctx->height = 720;
/* 设置time base */
codec_ctx->time_base = (AVRational) {1, 25};
codec_ctx->framerate = (AVRational) {25, 1};
/* 设置I帧间隔
* 如果frame->pict_type设置为AV_PICTURE_TYPE_I, 则忽略gop_size的设置，一直当做I帧进行编码
*/
codec_ctx->gop_size = 25; // I帧间隔
codec_ctx->max_b_frames = 2; // 如果不想包含B帧则设置为0
codec_ctx->pix_fmt = AV_PIX_FMT_YUV420P;
//
if (codec->id == AV_CODEC_ID_H264) {
// 相关的参数可以参考libx264.c的 AVOption options
ret = av_opt_set(codec_ctx->priv_data, "preset", "medium", 0);
if (ret != 0) {
printf("av_opt_set preset failed\n");
}
ret = av_opt_set(codec_ctx->priv_data, "profile", "main", 0); // 默认是high
if (ret != 0) {
printf("av_opt_set profile failed\n");
}
ret = av_opt_set(codec_ctx->priv_data, "tune", "zerolatency", 0); // 直播是才使用该设置
// ret = av_opt_set(codec_ctx->priv_data, "tune","film",0); // 画质film
if (ret != 0) {
printf("av_opt_set tune failed\n");
}
}
/*
* 设置编码器参数
*/
/* 设置bitrate */
codec_ctx->bit_rate = 3000000;
/* 将codec_ctx和codec进行绑定 */
ret = avcodec_open2(codec_ctx, codec, NULL);
if (ret < 0) {
fprintf(stderr, "Could not open codec: %s\n", av_err2str(ret));
exit(1);
}
printf("thread_count: %d, thread_type:%d\n", codec_ctx->thread_count, codec_ctx->thread_type);
// 打开输入和输出文件
infile = fopen(in_yuv_file, "rb");
if (!infile) {
fprintf(stderr, "Could not open %s\n", in_yuv_file);
exit(1);
}
outfile = fopen(out_h264_file, "wb");
if (!outfile) {
fprintf(stderr, "Could not open %s\n", out_h264_file);
exit(1);
}
// 分配pkt和frame
pkt = av_packet_alloc();
if (!pkt) {
fprintf(stderr, "Could not allocate video frame\n");
exit(1);
}
frame = av_frame_alloc();
if (!frame) {
fprintf(stderr, "Could not allocate video frame\n");
exit(1);
}
// 为frame分配buffer
frame->format = codec_ctx->pix_fmt;
frame->width = codec_ctx->width;
frame->height = codec_ctx->height;
ret = av_frame_get_buffer(frame, 0);
if (ret < 0) {
fprintf(stderr, "Could not allocate the video frame data\n");
exit(1);
}
// 计算出每一帧的数据 像素格式 * 宽 * 高
// 1382400
int frame_bytes = av_image_get_buffer_size(frame->format, frame->width,
frame->height, 1);
printf("frame_bytes %d\n", frame_bytes);
uint8_t *yuv_buf = (uint8_t *) malloc(frame_bytes);
if (!yuv_buf) {
printf("yuv_buf malloc failed\n");
return 1;
}
int64_t begin_time = get_time();
int64_t end_time = begin_time;
int64_t all_begin_time = get_time();
int64_t all_end_time = all_begin_time;
int64_t pts = 0;
printf("start enode\n");
for (;;) {
memset(yuv_buf, 0, frame_bytes);
size_t read_bytes = fread(yuv_buf, 1, frame_bytes, infile);
if (read_bytes <= 0) {
printf("read file finish\n");
break;
}
/* 确保该frame可写, 如果编码器内部保持了内存参考计数，则需要重新拷贝一个备份
目的是新写入的数据和编码器保存的数据不能产生冲突
*/
int frame_is_writable = 1;
if (av_frame_is_writable(frame) == 0) { // 这里只是用来测试
printf("the frame can't write, buf:%p\n", frame->buf[0]);
if (frame->buf && frame->buf[0]) // 打印referenc-counted，必须保证传入的是有效指针
printf("ref_count1(frame) = %d\n", av_buffer_get_ref_count(frame->buf[0]));
frame_is_writable = 0;
}
ret = av_frame_make_writable(frame);
if (frame_is_writable == 0) { // 这里只是用来测试
printf("av_frame_make_writable, buf:%p\n", frame->buf[0]);
if (frame->buf && frame->buf[0]) // 打印referenc-counted，必须保证传入的是有效指针
printf("ref_count2(frame) = %d\n", av_buffer_get_ref_count(frame->buf[0]));
}
if (ret != 0) {
printf("av_frame_make_writable failed, ret = %d\n", ret);
break;
}
int need_size = av_image_fill_arrays(frame->data, frame->linesize, yuv_buf,
frame->format,
frame->width, frame->height, 1);
if (need_size != frame_bytes) {
printf("av_image_fill_arrays failed, need_size:%d, frame_bytes:%d\n",
need_size, frame_bytes);
break;
}
pts += 40;
// 设置pts
frame->pts = pts; // 使用采样率作为pts的单位，具体换算成秒 pts*1/采样率
begin_time = get_time();
ret = encode(codec_ctx, frame, pkt, outfile);
end_time = get_time();
printf("encode time:%lldms\n", end_time - begin_time);
if (ret < 0) {
printf("encode failed\n");
break;
}
}
/* 冲刷编码器 */
encode(codec_ctx, NULL, pkt, outfile);
all_end_time = get_time();
printf("all encode time:%lldms\n", all_end_time - all_begin_time);
// 关闭文件
fclose(infile);
fclose(outfile);
// 释放内存
if (yuv_buf) {
free(yuv_buf);
}
av_frame_free(&frame);
av_packet_free(&pkt);
avcodec_free_context(&codec_ctx);
printf("main finish, please enter Enter and exit\n");
getchar();
return 0;
}