FFmpeg结构体: AVPacket

AVPacket 是什么？

AVPacket是存储压缩编码数据相关信息的结构体

/**
 * 该结构用来存储压缩数据. 这是典型的解复合器的输出然后塞入解码器，或者是接收编码器的输出然后塞入复合器
 *
 * 解复合器 --> AVPacket --> 解码器 --> YUV/RGB --> 编码器 --> AVPacket -->复合器
 *
 * 对视频而言, 它通常包含一个压缩帧. 对音频而言，则它可能包含多个压缩帧. 
 * 编码器允许输出一个空包, 没有压缩数据, 仅包含侧数据。
 * （例如在编码结束时更新一些流参数）
 *
 * AVPacket是FFmpeg少数几个结构之一, 其大小是公共ABI的一部分.
 *
 * 数据所有权的语义取决于buf域.
 * 如果被设置, 分组数据动态分配，且永远有效，直到一个叫av_packet_unref()减少引用计数为0时才被释放
 *
 * 如果buf域没有被设置，那么av_packet_ref()将做一个复制而不会增加引用计数
 *
 * 附加数据始终由av_malloc()分配内存, 由av_packet_ref()进行拷贝，由av_packet_unref()执行释放.
 *
 * @浏览 av_packet_ref()
 * @浏览 av_packet_unref()
 */
typedef struct AVPacket 
{
    // 用来管理data指针引用的数据缓存的
    // 为NULL时，那么数据包是不计数的
    AVBufferRef *buf;
 
    // 显示时间戳, 对应时间戳AVStream->time_base单元; 这个时间点, 解压缩的数据包将被提交给用户
    // 如果时间不被存储在文件里, 则可以写成AV_NOPTS_VALUE
    // pts必须大于或等于dts, 因为显示不能在解压缩之前被发生, 除非有人想查看十六进制存储。
    // 某些格式误用了这个名词dts或者是pts/cts那是意味着别的意思, 所以时间戳必须在被存储到AVPacket之前转换成真正的PTS/DTS。
    int64_t pts;
 
    // 解码时间戳, 对应时间戳AVStream->time_base单元; 这个时间点, 数据包被解码
    // 如果时间不被存储在文件里, 则可以写成AV_NOPTS_VALUE
    int64_t dts;
 
    // 存储的数据,指向一个缓存,这是AVPacket实际的数据
    uint8_t *data;
 
    // 数据的大小
    int size;
    
    // 标识该AVPacket所属的音频/视频流的索引
    int stream_index;
    
    // 一个AV_PKT_FLAG标识值, 最低为置1表示关键帧
    int flags;
 
    // 容器可以提供的附加数据
    // 包可以包含几种AVPacketSideDataType类型的侧信息
    AVPacketSideData *side_data;
 
    // 附加信息元素
    int side_data_elems;
 
    // 数据的时长,以所属媒体流的时间基准为单位
    int64_t duration;
 
    // 该数据在媒体流中的字节偏移量
    int64_t pos;
 
    // 该字段不再使用
#if FF_API_CONVERGENCE_DURATION
    attribute_deprecated
    int64_t convergence_duration;
#endif
 
} AVPacket;

重要的变量
在AVPacket结构体中，重要的变量有以下几个：

1. uint8_t *data：压缩编码的数据。
   例如对于H.264来说。1个AVPacket的data通常对应一个NAL。
   注意：在这里只是对应，而不是一模一样。他们之间有微小的差别：使用FFMPEG类库分离出多媒体文件中的H.264码流
   因此在使用FFMPEG进行视音频处理的时候，常常可以将得到的AVPacket的data数据直接写成文件，从而得到视音频的码流文件。
2. int size：data的大小
3. int64_t pts：显示时间戳
4. int64_t dts：解码时间戳
5. int stream_index：标识该AVPacket所属的视频/音频流。

容器
AVPacket实际上可用看作一个容器，它本身并不包含压缩的媒体数据，而是通过data指针引用数据的缓存空间。
所以将一个Packet作为参数传递的时候，就要根据具体的需要，对data引用的这部分数据缓存空间进行特殊的处理。

当从一个Packet去创建另一个Packet的时候，有两种情况：

1. 两个Packet的data引用的是同一数据缓存空间，这时候要注意数据缓存空间的释放问题；
2. 两个Packet的data引用不同的数据缓存空间，每个Packet都有数据缓存空间的copy；

第二种情况，数据空间的管理比较简单，但是数据实际上有多个copy造成内存空间的浪费。
所以要根据具体的需要，来选择到底是两个Packet共享一个数据缓存空间，还是每个Packet拥有自己独自的缓存空间。

引用计数
对于多个Packet共享同一个缓存空间，FFmpeg使用的引用计数的机制（reference-count）：
当有新的Packet引用共享的缓存空间时，就将引用计数+1；
当释放了引用共享空间的Packet，就将引用计数-1；引用计数为0时，就释放掉引用的缓存空间。

而类AVBufferRef就是用来管理引用机制的：

typedef struct AVBufferRef {
    AVBuffer *buffer;
 
    /**
     * The data buffer. It is considered writable if and only if
     * this is the only reference to the buffer, in which case
     * av_buffer_is_writable() returns 1.
     */
    uint8_t *data;
    /**
     * Size of data in bytes.
     */
    int      size;
} AVBufferRef;

其中，AVPacket会使用两个函数：

1. int av_packet_ref(AVPacket *dst, const AVPacket *src)：
   可以理解为使用引用计数的浅拷贝。
   该函数会先拷贝所有非缓存类数据，
   然后创建一个src->data的新的引用计数。如果src已经设置了引用计数发（src->buffer不为空），则直接将其引用计数+1；
   如果src没有设置引用计数（src->buffer为空），则为dst创建一个新的引用计数buf，并复制src->data到buf->buffer中。最后，复制src的其他字段到dst中。所以av_packet_ref()是将2个AVPacket共用一个缓存的。

2. void av_packet_unref(AVPacket *pkt)：
   可以理解为使用引用计数的数据清理。
   将缓存空间的引用计数-1，并将Packet中的其他字段设为初始值。如果引用计数为0，自动的释放缓存空间。所以，有两个Packet共享同一个数据缓存空间的时候可用这么做。

参考

https://blog.csdn.net/leixiaohua1020/article/details/14215755
https://blog.csdn.net/davidsguo008/article/details/72628675