ffmpeg pts dts

*Function:掌握ffmpeg中时间戳的知识点。并根据实际的时间来生成ffmpeg内部不同时间基的时间戳

*知识点1：av_q2d(AVRational a)函数
    av_q2d(AVRational);该函数负责把AVRational结构转换成double，通过这个函数可以计算出某一帧在视频中的时间位置
    timestamp(秒) = pts * av_q2d(st->time_base);
    计算视频长度的方法：
    time(秒) = st->duration * av_q2d(st->time_base);

*知识点2：av_rescale_q(int64_t a, AVRational bq, AVRational cq)函数
    这个函数的作用是计算a*bq / cq来把时间戳从一个时间基调整到另外一个时间基。在进行时间基转换的时候，应该首先这个函数，因为它可以避免溢出的情况发生

*知识点3：ffmpeg内部的时间与标准的时间转换方法：
    timestamp(ffmpeg内部的时间戳) = AV_TIME_BASE * time(秒)
    time(秒) = AV_TIME_BASE_Q * timestamp(ffmpeg内部的时间戳)

*知识点4：ts格式文件中3600间隔是什么意思？
    它是25fps帧率的ts媒体文件，每个视频帧的间隔时间。
    ts文件的封装时基是90kHz为单位，timebase是AVRational{1,90000}，简单的理解就是把1秒分成了90000等分，拿25帧率ts文件来分析
    按标准时间来计算每帧的间隔:
    公式为：1 / 25 = 0.04(秒) = 40毫秒
    按ffmpeg中的1秒(即90000)来计算每帧的间隔（单位好像没有明确的定义，暂且使用ffmpeg吧）：
    90000 / 25 = 3600(ffmpeg)
    用时间转换公式可能会更清楚一些：
    1(s) = 90000(ffmpeg)
    40(ms) = 3600(ffmpeg)

*知识点5：不同的时间基
    现实中不同的封装格式，timebase是不一样的。另外，整个转码过程，不同的数据状态对应的时间基也不一致。还是拿mpegts封装格式25fps来
    说（只说视频，音频大致一样，但也略有不同）。非压缩时候的数据（即YUV或者其它），在ffmpeg中对应的结构体为AVFrame,它的时间基为AVRational{1,25}。
    压缩后的数据（对应的结构体为AVPacket）对应的时间基为AVRational{1,90000}
*/

#include 
#include 
#include 
#include 
#include 
#include 
#include 
#include 

int main(int argc, char **argv)
{
    int i = 0;
    av_register_all();
    int64_t start = av_gettime_relative();
    AVRational tb = (AVRational){1,90000};
    for(i=1; i < 100; i++)
    {
    #if 1
        usleep(1000*40);//等待40毫秒
        int64_t time = av_gettime_relative();//单位:AV_TIME_BASE,即ffmpeg内部使用的时间单位 
        int64_t timestamp = time - start;
    #else
        int64_t timestamp = i*0.04 * AV_TIME_BASE;//把实际的时间单位转换成AV_TIME_BASE
    #endif

        //时间基转换
        int64_t pts = av_rescale_q(timestamp, AV_TIME_BASE_Q, tb);
        printf("timestamp:%"PRId64" pts:%"PRId64"\n", timestamp, pts);
    }
    return 0;
}

时间戳是基于I、P、B帧概念的，所以要先理解I、P、B帧概念。

DTS和PTS

DTS(Decoding Time Stamp, 解码时间戳)，表示压缩帧的解码时间。
PTS(Presentation Time Stamp, 显示时间戳)，表示将压缩帧解码后得到的原始帧的显示时间。
音频中DTS和PTS是相同的。视频中由于B帧需要双向预测，B帧依赖于其前和其后的帧，因此含B帧的视频解码顺序与显示顺序不同，即DTS与PTS不同。当然，不含B帧的视频，其DTS和PTS是相同的。下图以一个开放式GOP示意图为例，说明视频流的解码顺序和显示顺序

FFmpeg中的时间基与时间戳

时间基与时间戳的概念

在FFmpeg中，时间基(time_base)是时间戳(timestamp)的单位，时间戳值乘以时间基，可以得到实际的时刻值(以秒等为单位)。例如，如果一个视频帧的dts是40，pts是160，其time_base是1/1000秒，那么可以计算出此视频帧的解码时刻是40毫秒(40/1000)，显示时刻是160毫秒(160/1000)。FFmpeg中时间戳(pts/dts)的类型是int64_t类型，把一个time_base看作一个时钟脉冲，则可把dts/pts看作时钟脉冲的计数。

三种时间基tbr、tbn和tbc

不同的封装格式具有不同的时间基。在FFmpeg处理音视频过程中的不同阶段，也会采用不同的时间基。
FFmepg中有三种时间基，命令行中tbr、tbn和tbc的打印值就是这三种时间基的倒数：
tbn：对应容器中的时间基。值是AVStream.time_base的倒数
tbc：对应编解码器中的时间基。值是AVCodecContext.time_base的倒数
tbr：从视频流中猜算得到，可能是帧率或场率(帧率的2倍)

在ffmpeg中，不同的时间戳对应不同的时间基。对于视频的渲染我们使用的是视频流的时间基，也就是 tbn。那我们如何理解时间基呢？其实非常简单，就是时间刻度。我们以帧率为例，如果每秒钟的帧率是 25帧，那么它的时间基（时间刻度）就是 1/25。也就是说每隔1/25 秒后，显示一帧。

所以如我们当前的时间是 100， 时间基是 1/25，那么转成秒的时间是多少呢？ 100*时音基（1/25），也就是100 * 1/25 = 4秒。

内部时间基AV_TIME_BASE

除以上三种时间基外，FFmpeg还有一个内部时间基AV_TIME_BASE(以及分数形式的AV_TIME_BASE_Q)

// Internal time base represented as integer
#define AV_TIME_BASE            1000000

// Internal time base represented as fractional value
#define AV_TIME_BASE_Q          (AVRational){1, AV_TIME_BASE}

AV_TIME_BASE及AV_TIME_BASE_Q用于FFmpeg内部函数处理，使用此时间基计算得到时间值表示的是微秒。

在 ffmpeg中进行换算，将不同时间基的值转成按秒为单位的值计算如下：

timestamp(秒) = pts * av_q2d(time_base)


这里引入了 av_q2d 这个函数，它的定义

typedef struct AVRational{
int num; //numerator
int den; //denominator
} AVRational;

static inline double av_q2d(AVRational a)｛
/**
* Convert rational to double.
* @param a rational to convert
**/
    return a.num / (double) a.den;
}

时间戳转秒
time_in_seconds = av_q2d(AV_TIME_BASE_Q) * timestamp
秒转时间戳
timestamp = AV_TIME_BASE * time_in_seconds

时间值形式转换

av_q2d()将时间从AVRational形式转换为double形式。AVRational是分数类型，double是双精度浮点数类型，转换的结果单位是秒。转换前后的值基于同一时间基，仅仅是数值的表现形式不同而已。

av_q2d()实现如下：

/**
 * Convert an AVRational to a `double`.
 * @param a AVRational to convert
 * @return `a` in floating-point form
 * @see av_d2q()
 */
static inline double av_q2d(AVRational a){
    return a.num / (double) a.den;
}


av_q2d()使用方法如下：

AVStream stream;
AVPacket packet;
packet播放时刻值：timestamp(单位秒) = packet.pts × av_q2d(stream.time_base);
packet播放时长值：duration(单位秒) = packet.duration × av_q2d(stream.time_base);

时间基转换函数

av_rescale_q()用于不同时间基的转换，用于将时间值从一种时间基转换为另一种时间基。

/**
 * Rescale a 64-bit integer by 2 rational numbers.
 *
 * The operation is mathematically equivalent to `a × bq / cq`.
 *
 * This function is equivalent to av_rescale_q_rnd() with #AV_ROUND_NEAR_INF.
 *
 * @see av_rescale(), av_rescale_rnd(), av_rescale_q_rnd()
 */
int64_t av_rescale_q(int64_t a, AVRational bq, AVRational cq) av_const;

av_packet_rescale_ts()用于将AVPacket中各种时间值从一种时间基转换为另一种时间基。

/**
 * Convert valid timing fields (timestamps / durations) in a packet from one
 * timebase to another. Timestamps with unknown values (AV_NOPTS_VALUE) will be
 * ignored.
 *
 * @param pkt packet on which the conversion will be performed
 * @param tb_src source timebase, in which the timing fields in pkt are
 *               expressed
 * @param tb_dst destination timebase, to which the timing fields will be
 *               converted
 */
void av_packet_rescale_ts(AVPacket *pkt, AVRational tb_src, AVRational tb_dst);

转封装过程中的时间基转换

容器中的时间基(AVStream.time_base，即tbn)定义如下：

typedef struct AVStream {
    ......
    /**
     * This is the fundamental unit of time (in seconds) in terms
     * of which frame timestamps are represented.
     *
     * decoding: set by libavformat
     * encoding: May be set by the caller before avformat_write_header() to
     *           provide a hint to the muxer about the desired timebase. In
     *           avformat_write_header(), the muxer will overwrite this field
     *           with the timebase that will actually be used for the timestamps
     *           written into the file (which may or may not be related to the
     *           user-provided one, depending on the format).
     */
    AVRational time_base;
    ......
}

AVStream.time_base是AVPacket中pts和dts的时间单位，输入流与输出流中time_base按如下方式确定：
对于输入流：打开输入文件后，调用avformat_find_stream_info()可获取到每个流中的time_base
对于输出流：打开输出文件后，调用avformat_write_header()可根据输出文件封装格式确定每个流的time_base并写入输出文件中

不同封装格式具有不同的时间基，在转封装(将一种封装格式转换为另一种封装格式)过程中，时间基转换相关代码如下：

av_read_frame(ifmt_ctx, &pkt);
pkt.pts = av_rescale_q_rnd(pkt.pts, in_stream->time_base, out_stream->time_base, AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX);
pkt.dts = av_rescale_q_rnd(pkt.dts, in_stream->time_base, out_stream->time_base, AV_ROUND_NEAR_INF|AV_ROUND_PASS_MINMAX);
pkt.duration = av_rescale_q(pkt.duration, in_stream->time_base, out_stream->time_base);

下面的代码具有和上面代码相同的效果

// 从输入文件中读取packet
av_read_frame(ifmt_ctx, &pkt);
// 将packet中的各时间值从输入流封装格式时间基转换到输出流封装格式时间基
av_packet_rescale_ts(&pkt, in_stream->time_base, out_stream->time_base);

这里流里的时间基in_stream->time_base和out_stream->time_base，是容器中的时间基，就是tbn。

转码过程中的时间基转换

编解码器中的时间基(AVCodecContext.time_base，即tbc)定义如下：

typedef struct AVCodecContext {
    ......
    
    /**
     * This is the fundamental unit of time (in seconds) in terms
     * of which frame timestamps are represented. For fixed-fps content,
     * timebase should be 1/framerate and timestamp increments should be
     * identically 1.
     * This often, but not always is the inverse of the frame rate or field rate
     * for video. 1/time_base is not the average frame rate if the frame rate is not
     * constant.
     *
     * Like containers, elementary streams also can store timestamps, 1/time_base
     * is the unit in which these timestamps are specified.
     * As example of such codec time base see ISO/IEC 14496-2:2001(E)
     * vop_time_increment_resolution and fixed_vop_rate
     * (fixed_vop_rate == 0 implies that it is different from the framerate)
     *
     * - encoding: MUST be set by user.
     * - decoding: the use of this field for decoding is deprecated.
     *             Use framerate instead.
     */
    AVRational time_base;
    
    ......
}

上述注释指出，AVCodecContext.time_base是帧率(视频帧)的倒数，每帧时间戳递增1，那么tbc就等于帧率。编码过程中，应由用户设置好此参数。解码过程中，此参数已过时，建议直接使用帧率倒数用作时间基。

这里有一个问题：按照此处注释说明，帧率为25的视频流，tbc理应为25，但实际值却为50，不知作何解释？是否tbc已经过时，不具参考意义？

根据注释中的建议，实际使用时，在视频解码过程中，我们不使用AVCodecContext.time_base，而用帧率倒数作时间基，在视频编码过程中，我们将AVCodecContext.time_base设置为帧率的倒数。

视频流

视频按帧播放，所以解码后的原始视频帧时间基为 1/framerate。

视频解码过程中的时间基转换处理：

AVFormatContext *ifmt_ctx;
AVStream *in_stream;
AVCodecContext *dec_ctx;
AVPacket packet;
AVFrame *frame;

// 从输入文件中读取编码帧
av_read_frame(ifmt_ctx, &packet);

// 时间基转换
int raw_video_time_base = av_inv_q(dec_ctx->framerate);
av_packet_rescale_ts(packet, in_stream->time_base, raw_video_time_base);

// 解码
avcodec_send_packet(dec_ctx, packet)
avcodec_receive_frame(dec_ctx, frame);

视频编码过程中的时间基转换处理：

AVFormatContext *ofmt_ctx;
AVStream *out_stream;
AVCodecContext *dec_ctx;
AVCodecContext *enc_ctx;
AVPacket packet;
AVFrame *frame;

// 编码
avcodec_send_frame(enc_ctx, frame);
avcodec_receive_packet(enc_ctx, packet);

// 时间基转换
packet.stream_index = out_stream_idx;
enc_ctx->time_base = av_inv_q(dec_ctx->framerate);
av_packet_rescale_ts(&opacket, enc_ctx->time_base, out_stream->time_base);

// 将编码帧写入输出媒体文件
av_interleaved_write_frame(o_fmt_ctx, &packet);

音频流

音频按采样点播放，所以解码后的原始音频帧时间基为 1/sample_rate

音频解码过程中的时间基转换处理：

AVFormatContext *ifmt_ctx;
AVStream *in_stream;
AVCodecContext *dec_ctx;
AVPacket packet;
AVFrame *frame;

// 从输入文件中读取编码帧
av_read_frame(ifmt_ctx, &packet);

// 时间基转换
int raw_audio_time_base = av_inv_q(dec_ctx->sample_rate);
av_packet_rescale_ts(packet, in_stream->time_base, raw_audio_time_base);

// 解码
avcodec_send_packet(dec_ctx, packet)
avcodec_receive_frame(dec_ctx, frame);

音频编码过程中的时间基转换处理：

AVFormatContext *ofmt_ctx;
AVStream *out_stream;
AVCodecContext *dec_ctx;
AVCodecContext *enc_ctx;
AVPacket packet;
AVFrame *frame;

// 编码
avcodec_send_frame(enc_ctx, frame);
avcodec_receive_packet(enc_ctx, packet);

// 时间基转换
packet.stream_index = out_stream_idx;
enc_ctx->time_base = av_inv_q(dec_ctx->sample_rate);
av_packet_rescale_ts(&opacket, enc_ctx->time_base, out_stream->time_base);

// 将编码帧写入输出媒体文件
av_interleaved_write_frame(o_fmt_ctx, &packet);

详细编码解码流程

解码部分：

av_read_frame读取到数据到AVPacket，这里的AVPacket里的PTS是以1/90000为基准的，我们需要将此PTS转换成解码的PTS，通过av_packet_rescale_ts来实现，从stream的time_base转换成AVCodecContext的time_base，对于视频来说，这里的AVCodecContext的time_base是帧率的倒数，注意到上面提到的pts是AVPacket里的，通过解码后得到视频帧AVFrame，这里的AVFrame会有一个pts，当然了这个pts是AVCodecContext基准的，如果我们要拿这帧画面去显示的话，我们还要转换成显示的时间，即从AVCodecContext的time_base转换成1000000的timebase。一般的代码如下：

AVRational av;
av.den = 1000000;
av.num = 1;
int64_t mypts = av_rescale_q(pFrame->pts, videoCodecCtx->time_base, av);

上面得到的mypts就是我们习惯的微秒单位，我们拿声音来对比，对于声音来说，也拿到一个pts，那么此时两个pts就是同一个时间基上的了，并且是我们习惯的时间，这个时候再去显示或者播放就没有问题了。

编码部分：

前面解码部分我们得到了一个AVFrame，并且得到了微秒为基准的pts，我们要去编码的话，就要逆过来，我们将这个pts通过调用av_rescale_q将pts转换成编码器的pts，转换成功后，就可以开始压缩了，压缩调用avcodec_send_frame和avcodec_receive_packet得到一个AVPacket，这里又有一个pts，这个pts当然是编码器基准下的，所以在调用av_interleaved_write_frame之前需要再次次调用av_packet_rescale_ts将编码器的pts转换成AVStream的pts。最后才可以写入到文件或者流中。