ts, mp4文件快进快退(seek)原理

最近用potplayer播放一些ts文件，seek（快进快退）发现会有卡顿问题，但是同一个文件用mp4转封装之后seek就很快很流畅了。所以抽空研究了ffplay 对mp4文件和ts文件的 seek 逻辑，结论：对mp4 和t s的seek 逻辑完全不一样。

 

最重要的区别在于mp4 可以seek到指定的时间戳， ts 是 seek到文件的某个position，而不能直接seek到指定的时间点，下面结合ffplay的代码看一下实际的seek逻辑。

 

在ffplay.c中的event_loop函数中包含了seek的相关代码：

if (seek_by_bytes || cur_stream->ic->duration <= 0) { // ts只能 seek by bytes
    uint64_t size =  avio_size(cur_stream->ic->pb);
    stream_seek(cur_stream,size*x/cur_stream->width, 0, 1); //根据鼠标在播放窗口中点击的位置x，计算seek到的文件的具体位置
} else { // mp4 可以seek by timestamp
    int64_t ts;
    int ns, hh, mm, ss;
    int tns, thh, tmm, tss;
    tns  = cur_stream->ic->duration / 1000000LL;  // 单位秒
    thh  = tns / 3600;
    tmm  = (tns % 3600) / 60;
    tss  = (tns % 60);
    frac = x /cur_stream->width;
    ns   = frac * tns;
    hh   = ns / 3600;
    mm   = (ns % 3600) / 60;
    ss   = (ns % 60);
    av_log(NULL, AV_LOG_INFO,
           "Seek to%2.0f%% (%2d:%02d:%02d) of total duration (%2d:%02d:%02d)       \n", frac*100,
            hh, mm, ss, thh,tmm, tss);
    ts = frac *cur_stream->ic->duration;  // 单位微秒
    if(cur_stream->ic->start_time != AV_NOPTS_VALUE)
        ts +=cur_stream->ic->start_time;
    stream_seek(cur_stream,ts, 0, 0);
}

对于ts，具体seek操作调用函数关系为 avformat_seek_file()=> av_seek_frame() => seek_frame_internal() => seek_frame_byte()

 

对于mp4，具体seek操作调用函数关系为 avformat_seek_file()=> av_seek_frame() => seek_frame_internal() =>mov_read_seek()

所以 ts 和 mp4 seek的差别就在最后一个环节， seek_frame_byte()  与 mov_read_seek() 的差别。

下面贴出这几个函数的相关代码，稍加注释：

int avformat_seek_file(AVFormatContext *s, int stream_index, int64_t min_ts,
                       int64_t ts, int64_t max_ts, int flags)
{
    if (min_ts > ts || max_ts < ts)
        return -1;
    if (stream_index < -1 || stream_index >= (int)s->nb_streams)
        return AVERROR(EINVAL);

  ……

    // Fall back on old API if new is not implemented but old is.
    // Note the old API has somewhat different semantics.
    if (s->iformat->read_seek || 1) {
        int dir = (ts - (uint64_t)min_ts > (uint64_t)max_ts - ts ? AVSEEK_FLAG_BACKWARD : 0);
        int ret = av_seek_frame(s, stream_index, ts, flags | dir);
        if (ret<0 && ts != min_ts && max_ts != ts) {
            ret = av_seek_frame(s, stream_index, dir ? max_ts : min_ts, flags | dir);
            if (ret >= 0)
                ret = av_seek_frame(s, stream_index, ts, flags | (dir^AVSEEK_FLAG_BACKWARD));
        }
        return ret;
    }

    // try some generic seek like seek_frame_generic() but with new ts semantics
    return -1; //unreachable
}

av_seek_frame函数

int av_seek_frame(AVFormatContext *s, intstream_index,
                  int64_t timestamp, int flags)
{
   int ret;
 
    ……
 
   ret = seek_frame_internal(s, stream_index, timestamp, flags);
 
   if (ret >= 0)
       ret = avformat_queue_attached_pictures(s);
 
   return ret;
}

seek_frame_internal函数

static intseek_frame_internal(AVFormatContext *s, int stream_index,
                               int64_ttimestamp, int flags)
{
   int ret;
   AVStream *st;
 
   if (flags & AVSEEK_FLAG_BYTE) { // ts文件走这个if条件的逻辑
       if (s->iformat->flags &AVFMT_NO_BYTE_SEEK)
           return -1;
       ff_read_frame_flush(s);
       return seek_frame_byte(s, stream_index, timestamp, flags); //根据position来seek
    }
   // mp4文件走下面的逻辑
   if (stream_index < 0) {
       stream_index = av_find_default_stream_index(s);
       if (stream_index < 0)
           return -1;
 
       st = s->streams[stream_index];
       /* timestamp for default must be expressed in AV_TIME_BASE units */
       timestamp = av_rescale(timestamp, st->time_base.den,
                               AV_TIME_BASE *(int64_t) st->time_base.num);
    }
 
   /* first, we try the format specific seek */
   if (s->iformat->read_seek) {
       ff_read_frame_flush(s);
       ret = s->iformat->read_seek(s, stream_index, timestamp, flags);
    }else
       ret = -1;
   if (ret >= 0)
       return 0;
 
   ......
}

seek_frame_byte函数：直接seek到文件指定的position，ts 的 seek 调用此函数。

static int seek_frame_byte(AVFormatContext*s, int stream_index,
                           int64_t pos, intflags)
{
   int64_t pos_min, pos_max;
 
   pos_min = s->internal->data_offset;
   pos_max = avio_size(s->pb) - 1;
 
   if (pos < pos_min)
       pos = pos_min;
   else if (pos > pos_max)
       pos = pos_max;
 
   avio_seek(s->pb, pos, SEEK_SET); //直接将文件指针指向pos位置
 
   s->io_repositioned = 1;
 
   return 0;
}

所以 ts  seek 逻辑是：给定一个文件位置，直接将文件指针指向该位置。接下来调用 read_packet() 读取一个 ts 包(188字节)时，由于之前进行了seek操作，文件指针很可能没有指到一个 ts packet 的包头位置（包头以0x47 byte打头的），这时候需要调用 mpegts_resync() 进行重新同步找到包头，然后再重新读取一个完整 ts packet。

mp4 的 seek 操作逻辑是：给定一个 seek的目标时间戳(timestamp)，根据mp4 里每个包的索引信息，找到时间戳对应的包就可以了。根据下面的 mp4 的文件组织结构，利用Sample Table，可以快速找到任意给定时间戳的 video audio 数据包。

mp4 的文件组织结构如下图

总结：

1、对 mp4 文件来说，由于有索引表，可以快速找到某个时间戳所对应的数据，所以 seek 操作可以快速完成。

 

2、ts 文件没有时间戳和数据包位置的对应关系，所以对播放器来说，给定seek 的时间戳ts_seek，首先应该根据文件的码率估算一个位置pos，然后获取该位置的数据包的时间戳ts_actual，如果ts_actual < ts_seek ，则需要继续往后读取数据包；如果ts_actual> ts_seek，则需要往前读取数据包，直到读到 ts_seek 对应的数据包。所以 ts 文件的操作可能更加耗时； 如果 ts 包含的是 CBR 码流，则 ts_actual 与 ts_seek 一般差别不大， seek 相对较快； 如果 ts 包含的 VBR 码流， 则 ts_actual 与 ts_seek 可能相差甚远， 则 seek 相对较慢。