https://blog.csdn.net/leixiaohua1020/article/details/18893769 学习资料
ffmpeg 【em 派个】
FFmpeg是一个跨平台的视音频录制、转换和流媒体化的解决方案。在Windows平台上,FFmepg的使用非常广泛,大部分播放器都是基于FFmpeg内核的,比如:Mplayer,ffplay,射手播放器,暴风影音,KMPlayer,QQ影音等。而且FFmpeg的视音频编解码功能非常强大,它几乎囊括了所有的视音频编解码标准,我们熟知的格式转码工具格式工厂也是基于FFmpeg内核的。
介绍：视频播放过程
首先简单介绍以下视频文件的相关知识。我们平时看到的视频文件有许多格式，比如 avi， mkv， rmvb， mov， mp4等等，这些被称为容器（Container）， 不同的容器格式规定了其中音视频数据的组织方式（也包括其他数据，比如字幕等）。容器中一般会封装有视频和音频轨，也称为视频流（stream）和音频 流，播放视频文件的第一步就是根据视频文件的格式，解析（demux）出其中封装的视频流、音频流以及字幕（如果有的话），解析的数据读到包 （packet）中，每个包里保存的是视频帧（frame）或音频帧，然后分别对视频帧和音频帧调用相应的解码器（decoder）进行解码，比如使用 H.264编码的视频和MP3编码的音频，会相应的调用H.264解码器和MP3解码器，解码之后得到的就是原始的图像(YUV or RGB)和声音(PCM)数据，然后根据同步好的时间将图像显示到屏幕上，将声音输出到声卡，最终就是我们看到的视频。
AVFrame转UIImage
使用ffmepg解码视频一般都是生成AVFrame。然后再转换成RGB或YUV.AVFrame 转RGB:
把转换出来的UIImage画到UIImgeView上即可显示出来！
视频播放器播放一个互联网上的视频文件，需要经过以下几个步骤：解协议，解封装，解码视音频，视音频同步。如果播放本地文件则不需要解协议，为以下几个步骤：解封装，解码视音频，视音频同步。他们的过程如图所示。
6.1 直播平台参数对比
主流互联网视音频平台直播服务的参数对比如表所示：
现有网络视音频平台参数对比
名称协议封装视频编码音频编码播放器
CNTV私有
华数TV RTMP FLV H.264AACFlash
六间房 RTMP FLV H.264AACFlash
中国教育电视台 RTMP FLV H.264AACFlash
北广传媒移动电视 RTMP FLV H.264AACFlash
上海IPTVRTSP+RTPTS H.264MP2机顶盒
可以看出，直播服务普遍采用了RTMP作为流媒体协议，FLV作为封装格式，H.264作为视频编码格式，AAC作为音频编码格式。采用RTMP作为直播协议的好处在于其被Flash播放器支持。而Flash播放器如今已经安装在全球99%的电脑上，并且与浏览器结合的很好。因此这种流媒体直播平台可以实现“无插件直播”，极大的简化了客户端的操作。封装格式，视频编码，音频编码方面，无一例外的使用了FLV + H.264 + AAC的组合。FLV是RTMP使用的封装格式，H.264是当今实际应用中编码效率最高的视频编码标准，AAC则是当今实际应用中编码效率最高的音频编码标准。视频播放器方面，都使用了Flash播放器。
二、常用技术
软硬解码.h264：使用iOS8.0之后苹果开源的VideoToolBox，这正是很多直播软件最低兼容iOS8的原因了
美颜处理：CPUImage，内置150多种滤镜，功能强大
拉流播放：ijkplayer.framework、VLC
推流RTMP：安装nginx+rtmp服务器，ffmpeg推流
视频录制：UIImagePiackerController、AVCaptureSession、GPUImageVideoCamera
发送弹幕：BarrageRenderer第三方库
即时通讯：XMPP、环信、融云等
RTMP
是Real Time Messaging Protocol（实时消息传输协议）的首字母缩写。该协议基于TCP，是一个协议族，包括RTMP基本协议及RTMPT/RTMPS/RTMPE等多种变种。RTMP是一种设计用来进行实时数据通信的网络协议，主要用来在Flash/AIR平台和支持RTMP协议的流媒体/交互服务器之间进行音视频和数据通信.
二 RTP/RTCP协议概述
RTP协议是Internet上针对流媒体传输的基础协议，该协议详细说明在互联网上传输音视频的标准数据包格式。RTP协议本身只保证实时数据的传输，RTCP协议则负责流媒体的传输质量保证，提供流量控制和拥塞控制等服务。在RTP会话期间，各参与者周期性彼此发送RTCP报文。报文中包含各参与者数据发送和接收等统计信息，参与者可以据此动态控制流媒体传输质量。
RFC3550 [1]定义RTP/RTCP协议的基本内容，包括报文格式、传输规则等。除此之外，IETF还定义一系列扩展协议，包括RTP协议基于档次的扩展，和RTCP协议基于报文类型的扩展，等等。详细内容可参考文献[2]。
三 WebRTC线程关系和数据流
WebRTC对外提供两个线程：Signal和Worker，前者负责信令数据的处理和传输，后者负责媒体数据的处理和传输。在WebRTC内部，有一系列线程各司其职，相互协作完成数据流管线。下面以Video数据的处理流程为例，说明WebRTC内部的线程合作关系。