近期开始接触视频直播方面的项目，本文是作者学习和总结的一些视频直播的相关的概念、技术及解决方案的整理。
首先，了解了一下视频直播相关的概念。因为视频直播，基本上就是针对视频流，也就是流的处理。常用的几种视频协议是：RTMP、HTTP-FLV、HLS、RTP/RTCP协议。
一、视频直播协议
1.RTMP协议 (HTML 5不支持，Flash支持)
RTMP是一种流媒体协议，是Adobe的专利协议。基于TCP，在国内的使用流行度很高。流行原因是：开源软件和开源库的支持稳定完整，最常用的推流和拉流的解决方案基本上能够很稳定的运行。如：开源的librtmp推流库，服务端有nginx-rtmp插件，拉流有ijkPlayer播放库。
2.HTTP-FLV协议 (HTML 5 不支持，Flash支持)
即使用HTTP协议流式的传输媒体内容。相对于RTMP，HTTP更简单和广为人知。内容延迟同样可以做到2~5秒，打开速度更快，因为HTTP本身没有复杂的状态交互。所以从延迟角度来看，HTTP-FLV要优于RTMP。
3.HLS协议 (HTML 支持，Flash支持)
即Http Live Streaming，是由苹果提出基于HTTP的流媒体传输协议。HLS有一个非常大的优点：HTML5可以直接打开播放；这个意味着可以把一个直播链接通过微信等转发分享，不需要安装任何独立的APP，有浏览器即可，所以流行度很高。社交直播APP，HLS可以说是刚需 。基于HLS的直播流URL是一个m3u8的文件，里面包含了最近若干个小视频TS（一种视频封装格式，这里就不扩展介绍）文件。这种播放形式的延时比较高（与TS文件的大小有关系），同城网络下能够做到5~7秒的延时。
4.RTP/RTCP协议
即 Real-time Transport Protocol，用于Internet上针对多媒体数据流的一种传输层协议。RTCP传输交互控制的信令，RTP传输实际的媒体数据。
RTP在视频监控、视频会议、IP电话上有广泛的应用，因为视频会议、IP电话的一个重要的使用体验：内容实时性强。
对比上述3种协议，RTP和它们有一个重要的区别就是默认是使用UDP协议来传输数据，而RTMP和HTTP是基于TCP协议传输。
使用场景分析：实时音视频流的场景不需要可靠保障，因此也不需要有重传的机制，实时的看到图像声音，网络抖动时丢了一些内容，画面模糊和花屏，完全不重要。TCP为了重传会造成延迟与不同步，如某一截内容因为重传，导致1秒以后才到，那么整个对话就延迟了1秒，随着网络抖动，延迟还会增加成2秒、3秒，如果客户端播放是不加以处理将严重影响直播的体验。如何进行优化，会在后面的文章中进行讲解。
总结：在直播协议的选择中，如果选择是RTMP或HTTP-FLV则意味着有2~5秒的内容延迟，但是就打开延迟来说，HTTP-FLV 要优于RTMP。HLS则有5~7秒的内容延迟。选择RTP进行直播则可以做到1秒内的直播延迟。但就目前所了解，各大CDN厂商没有支持基于RTP直播的，所以目前国内主流还是RTMP或HTTP-FLV。
二、视频直播流程
视频直播相关的技术方面的流程为：实时视频流的采集 -- > 视频流的编码 -- > 视频流的传输 --> 视频流的解码 --> 视频播放。
1. 实时视频采集实现思路
a). 通过Android Camera 拍摄预览中设置setPreviewCallBack实现onPreviewFrame接口，实时截取每一帧视频流的数据。
b). 通过Android的MediaRecorder，在SetoutputFile函数中绑定LocalSocket实现。
c). 流媒体服务器方式，利用FFmpeg或者GetStreamer等获取Camera视频。
2. 视频压缩编码实现思路
a). 不编码，直接通过Socket传输原始YUV420SP视频帧。
b). JEPG. 将原始YUV420SP视频帧压缩成H.264再传输。
c). H.264/AVC.将原始YUV420SP视频帧压缩成H.264再传输，常见的基于H264的开源Encoder有JM、X264、T264、Hdot264等
d). MPEG4.将原始YUV420SP视频帧压缩成MPEG4再传输
3. 视频传输实现思路
a). SOCKET传输
b). HTTP传输
c). RTP/RTSP传输
d). 流媒体服务器方式，如live555等
4. 视频解码实现思路
a). 与编码对应的解码器
5. 视频播放实现思路
a). 通过Android VideoView
b). 通过Android MediaPlay
c). 通过Canvas直接粘贴帧图