流媒体

流媒体，又叫流式媒体，是边传边播的媒体，是多媒体的一种。边传边播是指媒体提供商在网络上传输媒体的同时，用户一边不断地接收并观看或收听被传输的媒体。“流”媒体的“流”指的是这种媒体的传输方式（流的方式），而并不是指媒体本身。流媒体分为直播和点播，被广泛运用于在线直播、视频点播、远程教育、实时视频会议等领域。

流媒体协议

流媒体协议包括RTP，RTCP，RTMP，MMS，HLS，HTTP-FLV等。通常来说点播使用的都是HTTP协议，直播主要用的是RTMP，HLS，HTTP-FLV等。

  • RTMP：是Adobe公司为Flash/AIR平台和服务器之间音、视频及数据传输开发的实时消息传送协议，协议建立在TCP协议之上。RTMP协议中，视频必须是H264编码，音频必须是AAC或MP3编码，且多以flv格式封包。RTMP是目前最主流的流媒体传输协议，对CDN支持良好，实现难度较低，是大多数的直播平台的选择。RTMP基于flash无法在iOS的浏览器里播放，但是实时性比HLS要好。

  • HLS：是苹果公司实现的基于HTTP的流媒体传输协议，可实现流媒体的直播和点播，iOS和 Android 都天然支持这种协议，配置简单，直接使用video标签即可。HLS点播基本上就是常见的分段HTTP点播，不同在于它的分段非常小。HLS直播的原理是将视频分成5-10秒的小分片，然后用m3u8索引表进行管理，由于客户端下载到的视频都是5-10秒的完整数据，故视频的流畅性很好，但由于分段推送的技术特点，决定了HLS的延迟一般会高于普通的流媒体直播协议。
协议 优点 缺点 播放延时
RTMP 1.速度快，误码率低，延迟低 2.协议在制定的时候就考虑到很多底层的优化 3.消息块的传输能够提供更加稳定的直播环境 1.不支持HTML5直播、浏览器推送 2.开发难度大，门槛较高 3.硬件要求相较于HLS较高 1s-3s
HLS 1.手机浏览器支持度高 2.HLS协议客户端支持简单，只需要支持HTTP请求即可，HTTP协议无状态，只需要按顺序下载媒体片段即可 3.网络兼容性好，HTTP数据包也可以方便地通过防火墙或者代理服务器 1.相比RTMP这类长连接协议，HLS延时较高，难以用到直播场景 2.对于点播服务来说，由于海量小分片在文件分发，对一致性缓存，存储等挑战性较大 10s-30s

直播的推流和拉流

  • 推流：指的是把采集阶段封包好的内容传输到服务器的过程。
    流程如下：
    1.经过输出设备(AVCaptureVideoDataOutput)得到原始的采样数据--视频数据（YUV）和音频数据（AAC）
    2.使用硬编码（对应系统的API）或软编码（FFMpeg）来编码压缩音视频数据；
    3.分别得到已编码的H.264视频数据和AAC音频数据
    4.根据不同的封装格式（如FLV、TS、MPEG-TS）
    5.使用HLS协议的时候加上这一步（HLS分段生成策略及m3u8索引文件）
    6.通过流上传到服务器
    7.服务器进行相关协议的分发

  • 拉流（播放）：指服务器已有直播内容，用指定地址进行拉取的过程。根据协议类型与服务器建立连接并接收数据
    流程如下：
    1.解析二进制数据，从中找到相关流信息
    2.根据不同的封装格式（如FLV、TS）解复用（demux）
    3.分别得到已编码的H.264视频数据和AAC音频数据
    4.使用硬解码（对应系统的API）或软解码（FFMpeg）来解压音视频数据
    5.经过解码后得到原始的视频数据（YUV）和音频数据（AAC）
    6.因为音频和视频解码是分开的，所以我们得把它们同步起来，否则会出现音视频不同步的现象，比如别人说话会跟口型对不上
    7.最后把同步的音频数据送到耳机或外放，视频数据送到屏幕上显示