AVPacket
// AVPacket侧数据
typedef struct AVPacketSideData
{
// 数据
uint8_t *data;
// 数据大小
int size;
// 数据类型
// AV_PKT_DATA_* 类型宏
enum AVPacketSideDataType type;
} AVPacketSideData;AVPacket是FFmpeg中很重要的一个数据结构，它保存了解复用之后，解码之前的数据（仍然是压缩后的数据）和关于这些数据的一些附加信息，如显示时间戳（pts）、解码时间戳（dts）、数据时长，所在媒体流的索引等。对于视频来说，AVPacket通常包含一个压缩的Frame，而音频（Audio）则有可能包含多个压缩的Frame。并且，一个Packet有可能是空的，不包含任何压缩数据，只含有side data（side data，容器提供的关于Packet的一些附加信息。例如，在编码结束的时候更新一些流的参数）。AVPacket的大小是公共的ABI（public ABI）一部分，这样的结构体在FFmpeg很少，由此也可见AVPacket的重要性。它可以被分配在栈空间上（可以使用语句AVPacket packet; 在栈空间定义一个Packet ），并且除非libavcodec 和 libavformat有很大的改动，不然不会在AVPacket中添加新的字段。
/**
* 该结构用来存储压缩数据. 这是典型的解复合器的输出然后塞入解码器，或者是接收编码器的输出然后塞入复合器
*
* 解复合器 --> AVPacket --> 解码器 --> YUV/RGB --> 编码器 --> AVPacket -->复合器
*
* 对视频而言, 它通常包含一个压缩帧. 对音频而言，则它可能包含多个压缩帧.
* 编码器允许输出一个空包, 没有压缩数据, 仅包含侧数据。
* （例如在编码结束时更新一些流参数）
*
* AVPacket是FFmpeg少数几个结构之一, 其大小是公共ABI的一部分.
*
* 数据所有权的语义取决于buf域.
* 如果被设置, 分组数据动态分配，且永远有效，直到一个叫av_packet_unref()减少引用计数为0时才被释放
*
* 如果buf域没有被设置，那么av_packet_ref()将做一个复制而不会增加引用计数
*
* 附加数据始终由av_malloc()分配内存, 由av_packet_ref()进行拷贝，由av_packet_unref()执行释放.
*
* @浏览 av_packet_ref()
* @浏览 av_packet_unref()
*/
typedef struct AVPacket
{
// 用来管理data指针引用的数据缓存的
// 为NULL时，那么数据包是不计数的
AVBufferRef *buf;
// 显示时间戳, 对应时间戳AVStream->time_base单元; 这个时间点, 解压缩的数据包将被提交给用户
// 如果时间不被存储在文件里, 则可以写成AV_NOPTS_VALUE
// pts必须大于或等于dts, 因为显示不能在解压缩之前被发生, 除非有人想查看十六进制存储。
// 某些格式误用了这个名词dts或者是pts/cts那是意味着别的意思, 所以时间戳必须在被存储到AVPacket之前转换成真正的PTS/DTS。
int64_t pts;
// 解码时间戳, 对应时间戳AVStream->time_base单元; 这个时间点, 数据包被解码
// 如果时间不被存储在文件里, 则可以写成AV_NOPTS_VALUE
int64_t dts;
// 存储的数据,指向一个缓存,这是AVPacket实际的数据
uint8_t *data;
// 数据的大小
int size;
// 标识该AVPacket所属的音频/视频流的索引
int stream_index;
// 一个AV_PKT_FLAG标识值, 最低为置1表示关键帧
int flags;
// 容器可以提供的附加数据
// 包可以包含几种AVPacketSideDataType类型的侧信息
AVPacketSideData *side_data;
// 附加信息元素
int side_data_elems;
// 数据的时长,以所属媒体流的时间基准为单位
int64_t duration;
// 该数据在媒体流中的字节偏移量
int64_t pos;
// 该字段不再使用
#if FF_API_CONVERGENCE_DURATION
attribute_deprecated
int64_t convergence_duration;
#endif
} AVPacket;AVPacket实际上可用看作一个容器，它本身并不包含压缩的媒体数据，而是通过data指针引用数据的缓存空间。
所以将一个Packet作为参数传递的时候，就要根据具体的需要，对data引用的这部分数据缓存空间进行特殊的处理。
当从一个Packet去创建另一个Packet的时候，有两种情况：
①两个Packet的data引用的是同一数据缓存空间，这时候要注意数据缓存空间的释放问题；
②两个Packet的data引用不同的数据缓存空间，每个Packet都有数据缓存空间的copy；
第二种情况，数据空间的管理比较简单，但是数据实际上有多个copy造成内存空间的浪费。
所以要根据具体的需要，来选择到底是两个Packet共享一个数据缓存空间，还是每个Packet拥有自己独自的缓存空间。
对于多个Packet共享同一个缓存空间，FFmpeg使用的引用计数的机制（reference-count）：
当有新的Packet引用共享的缓存空间时，就将引用计数+1；
当释放了引用共享空间的Packet，就将引用计数-1；引用计数为0时，就释放掉引用的缓存空间。
而类AVBufferRef就是用来管理引用机制的：
typedef struct AVBufferRef {
AVBuffer *buffer;
/**
* The data buffer. It is considered writable if and only if
* this is the only reference to the buffer, in which case
* av_buffer_is_writable() returns 1.
*/
uint8_t *data;
/**
* Size of data in bytes.
*/
int size;
} AVBufferRef;其中，AVPacket会使用两个函数：
①int av_packet_ref(AVPacket *dst, const AVPacket *src)：
可以理解为使用引用计数的浅拷贝。
该函数会先拷贝所有非缓存类数据，然后创建一个src->data的新的引用计数。如果src已经设置了引用计数发（src->buffer不为空），则直接将其引用计数+1；如果src没有设置引用计数（src->buffer为空），则为dst创建一个新的引用计数buf，并复制src->data到buf->buffer中。最后，复制src的其他字段到dst中。所以av_packet_ref()是将2个AVPacket共用一个缓存的。
②void av_packet_unref(AVPacket *pkt)：
可以理解为使用引用计数的数据清理。
将缓存空间的引用计数-1，并将Packet中的其他字段设为初始值。如果引用计数为0，自动的释放缓存空间。所以，有两个Packet共享同一个数据缓存空间的时候可用这么做。
函数说明：
1. int av_read_frame(AVFormatContext *s, AVPacket *pkt)：
#include avformat.h
该接口的功能是从流数据文件（AVFormatContext）的媒体流中读取帧填充到填充到AVPacket的数据缓存空间。
如果Packet->buf为空，则Packet的数据缓存空间会在下次调用av_read_frame的时候失效。
但问题在于，每次调用av_read_frame后，都会将上次读取的帧（AVPacket->data）进行重写，这样就可能导致上一次的读取的data释放掉。没法做缓存队列了。
所以假如每次读取之后都需要保留上一次的帧数据，那么就需要在下一次读取前给AVPacket->data增加一个引用计数，或者就是手工创建buff然后拷贝过去然后再将data指向它。
这个增加引用计数的接口就是上面说到的：av_packet_ref(dst, src)，将data作为src塞入参数，再用得到的dst指针丢入到缓存队列里，OK，可继续进行下一次av_read_frame()了。
2. AVPacket *av_packet_alloc(void)：
简单的创建一个AVPacket，将其字段设为默认值（data为空，没有数据缓存空间），data的指针需要另外去赋值。
AVPacket *av_packet_alloc(void)
{
AVPacket *pkt = av_mallocz(sizeof(AVPacket));
if (!pkt)
return pkt;
av_packet_unref(pkt);
return pkt;
}3. void av_packet_free(AVPacket **pkt)：
释放使用av_packet_alloc创建的AVPacket，如果该Packet有引用计数（packet->buf不为空），则先调用av_packet_unref(&packet)。
只有当引用计数为0时，才会在调用av_packet_free()时释放data的缓存。
void av_packet_free(AVPacket **pkt)
{
if (!pkt || !*pkt)
return;
av_packet_unref(*pkt);
av_freep(pkt);
}4. AVPacket *av_packet_clone(AVPacket *src)：
其功能是 av_packet_alloc() + av_packet_ref()；
先创建一个新的AVPacket，然后再进行计数引用+数据拷贝，使得新的AVPacket指向老的AVPacket同一个data。
AVPacket *av_packet_clone(AVPacket *src)
{
AVPacket *ret = av_packet_alloc();
if (!ret)
return ret;
if (av_packet_ref(ret, src))
av_packet_free(&ret);
return ret;
}5. void av_init_packet(AVPacket *pkt()：
初始化packet的值为默认值，该函数不会影响data引用的数据缓存空间和size，需要单独处理。AVPacket中的buf为空。
void av_init_packet(AVPacket *pkt)
{
pkt->pts = AV_NOPTS_VALUE;
pkt->dts = AV_NOPTS_VALUE;
pkt->pos = -1;
pkt->duration = 0;
#if FF_API_CONVERGENCE_DURATION
FF_DISABLE_DEPRECATION_WARNINGS
pkt->convergence_duration = 0;
FF_ENABLE_DEPRECATION_WARNINGS
#endif
pkt->flags = 0;
pkt->stream_index = 0;
pkt->buf = NULL;
pkt->side_data = NULL;
pkt->side_data_elems = 0;
}6. int av_new_packet(AVPacket *pkt, int size)：
是av_init_packet的增强版，不但会初始化字段，还为data分配了存储空间。
只不过这块空间是空的，长度依照size来定义。AVPacket中的buf不再为空。
int av_new_packet(AVPacket *pkt, int size)
{
AVBufferRef *buf = NULL;
int ret = packet_alloc(&buf, size);
if (ret < 0)
return ret;
av_init_packet(pkt);
pkt->buf = buf;
pkt->data = buf->data;
pkt->size = size;
return 0;
}7. int av_copy_packet(AVPacket *dst, const AVPacket *src)：
复制一个新的packet，包括数据缓存。
这和av_packet_clone()的区别在于，clone是利用引用计数指向同一块内存，而coye则是不使用引用计数，2个AVPacket使用2个缓存。
int av_copy_packet(AVPacket *dst, const AVPacket *src)
{
*dst = *src;
return copy_packet_data(dst, src, 0);
}static int copy_packet_data(AVPacket *pkt, const AVPacket *src, int dup)
{
pkt->data = NULL;
pkt->side_data = NULL;
pkt->side_data_elems = 0;
if (pkt->buf) {
AVBufferRef *ref = av_buffer_ref(src->buf);
if (!ref)
return AVERROR(ENOMEM);
pkt->buf = ref;
pkt->data = ref->data;
} else {
DUP_DATA(pkt->data, src->data, pkt->size, 1, ALLOC_BUF);
}
if (src->side_data_elems && dup) {
pkt->side_data = src->side_data;
pkt->side_data_elems = src->side_data_elems;
}
if (src->side_data_elems && !dup) {
return av_copy_packet_side_data(pkt, src);
}
return 0;
failed_alloc:
av_packet_unref(pkt);
return AVERROR(ENOMEM);
}8. int av_packet_from_data(AVPacket *pkt, uint8_t *data, int size)：
初始化一个引用计数的packet，并指定了其数据缓存。缓存需要手工创建，AVPacket自动创建引用计数机制，参数pkt需要事先被av_packet_alloc()。
int av_packet_from_data(AVPacket *pkt, uint8_t *data, int size)
{
if (size >= INT_MAX - AV_INPUT_BUFFER_PADDING_SIZE)
return AVERROR(EINVAL);
pkt->buf = av_buffer_create(data, size + AV_INPUT_BUFFER_PADDING_SIZE,
av_buffer_default_free, NULL, 0);
if (!pkt->buf)
return AVERROR(ENOMEM);
pkt->data = data;
pkt->size = size;
return 0;
}9. int av_grow_packet(AVPacket *pkt, int grow_by)：
增大Packet->data指向的数据缓存。
int av_grow_packet(AVPacket *pkt, int grow_by)
{
int new_size;
av_assert0((unsigned)pkt->size <= INT_MAX - AV_INPUT_BUFFER_PADDING_SIZE);
if ((unsigned)grow_by >
INT_MAX - (pkt->size + AV_INPUT_BUFFER_PADDING_SIZE))
return -1;
new_size = pkt->size + grow_by + AV_INPUT_BUFFER_PADDING_SIZE;
if (pkt->buf) {
size_t data_offset;
uint8_t *old_data = pkt->data;
if (pkt->data == NULL) {
data_offset = 0;
pkt->data = pkt->buf->data;
} else {
data_offset = pkt->data - pkt->buf->data;
if (data_offset > INT_MAX - new_size)
return -1;
}
if (new_size + data_offset > pkt->buf->size) {
int ret = av_buffer_realloc(&pkt->buf, new_size + data_offset);
if (ret < 0) {
pkt->data = old_data;
return ret;
}
pkt->data = pkt->buf->data + data_offset;
}
} else {
pkt->buf = av_buffer_alloc(new_size);
if (!pkt->buf)
return AVERROR(ENOMEM);
if (pkt->size > 0)
memcpy(pkt->buf->data, pkt->data, pkt->size);
pkt->data = pkt->buf->data;
}
pkt->size += grow_by;
memset(pkt->data + pkt->size, 0, AV_INPUT_BUFFER_PADDING_SIZE);
return 0;
}10. void av_shrink_packet(AVPacket *pkt, int size)：
减小Packet->data指向的数据缓存。
void av_shrink_packet(AVPacket *pkt, int size)
{
if (pkt->size <= size)
return;
pkt->size = size;
memset(pkt->data + size, 0, AV_INPUT_BUFFER_PADDING_SIZE);
}