Nginx Rtmp Module - HLS切片和级联播放
#Nginx Rtmp Module - HLS切片和播放
1、名词解释
-
媒体片段文件(.ts): 媒体片段是由源站生成的，基于编码后的媒体源，并且是由一系列的 .ts 格式的文件组成，其中包含了你想通过 rtmp流携带的 H.264视频和AAC 音频。对于纯音频的直播，切片器可以生产MPEG 基础音频流，其中包含了 ADTS头的AAC音频。
-
HLS直播索引文件(.m3u8): 由源站附带生成保存为 .m3u8 格式
下面是一个直播 .m3u8 的 playlist 文件样例，其中包含了三个没有加密的5秒钟的媒体文件：
#EXTM3U
#EXT-X-VERSION:3
#EXT-X-MEDIA-SEQUENCE:2
#EXT-X-TARGETDURATION:5
#EXTINF:5.000,
1475217437694.ts
#EXTINF:5.000,
1475217442714.ts
#EXTINF:5.000,
1475217447698.ts
-
HLS点播索引文件（.m3u8）: 由源站附带生成保存为 .m3u8 格式
下面是一个 点播 .m3u8 的 playlist 文件样例，其中包含了三个没有加密的5秒钟的媒体文件：
#EXTM3U
#EXT-X-VERSION:3
#EXT-X-MEDIA-SEQUENCE:2
#EXT-X-TARGETDURATION:5
#EXTINF:5.000,
1475217437694.ts
#EXTINF:5.000,
1475217442714.ts
#EXTINF:5.000,
1475217447698.ts
#EXT-X-ENDLIST #点播特有的标签
-
HLS直播: 直播就是实时事件的录制展示。它的索引文件一直处于动态变化的，你需要不断的更新索引文件 playlist 然后移除旧的索引文件。这种类型通过向索引文件添加媒体地址可以很容易的转化为VOD类型。在转化时不要移除原来旧的源，而是通过添加一个 #ET-X-ENDLIST 标记来终止实时事件。转化时如果你的索引文件中包含 EXT-X-PLAYLIST-TYPE 标签，你需要将值从 EVENT 改为 VOD。
-
HLS录播: 点播的特点就是可以获取到一个静态的索引文件，该文件包含一套完整的资源文件地址。这种模式允许客户端访问全部节目
2、HLS直播
当音频和视频数据经过SLB的负载均衡，打到任意一个nginx进程上之后，会分别被HLS直播和HLS录播模块处理，两个模块会根据自己的切片算法、索引文件生成算法 生成该模块对应的 m3u8和ts文件。直播模块会将这两个文件生成到内存虚拟硬盘，然后在HLS直播中被CDN请求使用。
接下来将分别介绍HLS直播及录播模块。
2.1、HLS直播
HLS直播分为两个子模块: 负责hls本地 级连播放的HTTP HLS模块和负责hls直播切片相关的RTMP HLS模块。
2.1.1 RTMP HLS模块
(1) 模块配置
本地配置如下：
server {
application live {
hls on; ＃是否开启hls
hls_fragment 5s; ＃本地切片长度
hls_playlist_length 15s; ＃HLS播放列表长度
}
}
(2) hook函数回调
static ngx_int_t
ngx_rtmp_hls_postconfiguration(ngx_conf_t *cf)
{
ngx_rtmp_core_main_conf_t *cmcf;
ngx_rtmp_handler_pt *h;
cmcf = ngx_rtmp_conf_get_module_main_conf(cf, ngx_rtmp_core_module);
h = ngx_array_push(&cmcf->events[NGX_RTMP_MSG_VIDEO]);
*h = ngx_rtmp_hls_video; #视频数据回调
h = ngx_array_push(&cmcf->events[NGX_RTMP_MSG_AUDIO]);
*h = ngx_rtmp_hls_audio; #音频数据回调
next_publish = ngx_rtmp_publish;
ngx_rtmp_publish = ngx_rtmp_hls_publish; ＃流开始回调
next_close_stream = ngx_rtmp_close_stream;
ngx_rtmp_close_stream = ngx_rtmp_hls_close_stream; ＃流结束回调
return NGX_OK;
}
（3）HLS 对rtmp推流publish消息的处理（ngx_rtmp_hls_publish）
该函数主要用于初始化hls模块内存上下文。
（4） HLS对视频帧的处理（ngx_rtmp_hls_video）
对于视频数据，HLS直播模块会解析每一个rtmp数据包，提取出h264 nal数据，然后按照ts封装格式封装到ts文件里面。
（5） HLS对音频帧的处理（ngx_rtmp_hls_audio函数）
对于音频帧，该模块采用不同于视频帧的处理方式, 区别如下:
| 不同点 | video | audio |
|---|---|---|
| dts | dts = timestamp * 90 | dts = (aframe_num * 90000 * 1024 / sample_rate) |
| pts | pts = dts + cts * 90 | pts = dts |
| 帧处理 | 每一帧都写ts文件 | 音频帧缓冲区填满之后，一次写入ts文件 |
音频帧处理流程如下：
对于音频帧的处理，HLS直播模块采用了先缓存，然后一并切入ts文件的方式，这种方式对于减少磁盘的i/o有很大的好处，同时HLS直播模块对封装好的ts文件，会被写入虚拟内存硬盘，而不是普通硬盘的目的，也是为了提高磁盘i/o的效率。
（6） HLS 切片处理（ngx_rtmp_hls_update_fragment）
该函数主要负责hls直播的核心切片逻辑。
切片流程如下：
其中蓝色的部分是生成新的ts分片的逻辑：
- （1）当前ts片的长度大于1.2倍的fraglen,即向上浮动20%，且强制切片
- （2）遇到视频关键帧并且ts片的长度大于0.8 倍的fraglen，即向下浮动20%
- （3）出现异常情况，时间戳跳变，比如音视频时间戳变小，则当系统时间超过3倍的切片fraglen长度，强制切片
其中红色的部分会在更新m3u8列表的时候，添加discontinue标签
- （1）出现第三种强制切片逻辑时，则会在下一个ts分片的m3u8列表里，添加discontinue标签
- （2）出现异常情况，时间戳跳变，比如相邻的音频或者相邻的视频 时间戳变小，则会在当前ts片，添加discontinue标签
（7） HLS 对rtmp推流结束消息的处理（ngx_rtmp_hls_close_stream）
该函数主要清理模块的上下文。
（8） .m3u8索引文件生成算法
下面是一个直播 .m3u8 的 playlist 文件样例:
#EXTM3U
#EXT-X-VERSION:3
#EXT-X-MEDIA-SEQUENCE:2
#EXT-X-TARGETDURATION:5
#EXTINF:5.000,
1475217437694.ts
#EXTINF:5.000,
1475217442714.ts
#EXTINF:5.000,
1475217447698.ts
对于HLS直播: .m3u8索引文件只会存储最新的几片ts文件，每生成一个新的ts文件就会更新索引文件，然后移除旧的索引文件，意味着它的索引文件一直是动态变化的。
.m3u8可存储的ts数目 = hls_playlist_length／fraglen
（9） ts片清理逻辑（cleanup）
客户端播放HLS直播，只会播放m3u8索引里面存储的最新的ts文件，ts文件一旦从m3u8文件里面清除 ，即ts文件过期，nginx将会做定期的清理这些文件。但是由于小部分网络不好或者延时较大的用户，可能仍会请求一些刚从m3u8列表清除的ts文件，所以文件清除的时间会比过期时间要大，规则如下:
| name | 取值 |
|---|---|
| 扫描 目录 | /dev/shm |
| 扫描 周期 | 30s |
| ts清除时间 | hls_playlist_length ＊ 2.5 |
| m3u8清除时间 | hls_playlist_length ＊ 1 |
原理如下：
nginx: cache manager进程会每隔30s，扫描“/dev/shm”目录，然后获取每一个文件最后的更新时间，
如果当前时间 － 最后更新时间 > 清除时间， 则删除该文件