如何搭建一个完整的视频直播系统？
张云龙
，全民TV 技术总监
何李石
，在七牛做世界上最好的直播云服务
正如 @姚冬 所说，一个完整的直播系统大致包含这几个环节：采集、前处理、编码、传输、解码和渲染。在两端传输的过程中再加上一个服务端处理。大致的模型如下：
在主播推流端涉及到的环节有采集、前处理和编码，在观众端涉及到的环节就是解码和渲染，在这两个端之间建立起传输通道的则是服务端，它负责接收主播端的推流，将其处理之后分发给观众播放端：
1. 采集
采集是播放环节中的第一环，iOS 系统因为软硬件种类不多，硬件适配性较好，所以比较简单。Android 则不同，市面上硬件机型非常多，难以做到一个库适配所有硬件。PC 端的采集也跟各种摄像头驱动有关，推荐使用目前市面上最好用的 PC 端开源免费软件 OBS: Open Broadcaster Software
参考教程： 斗鱼游戏直播教程-OBS直播软件篇[推荐]
2. 前处理
正如 @姚冬 所说，「80% 的主播没有美颜根本没法看。」不光是美颜，很多其它的视频处理如模糊效果、水印等也都是在这个环节做。目前 iOS 端比较知名的是 GPUImage 这个库，提供了丰富端预处理效果，还可以基于这个库自己写算法实现更丰富端效果： GitHub - BradLarson/GPUImage: An open source iOS framework for GPU-based image and video processing
Android 也有 GPUImage 这个库的移植： GitHub - CyberAgent/android-gpuimage: Android filters based on OpenGL (idea from GPUImage for iOS)
同时，Google 官方开源了一个伟大的库，覆盖了 Android 上面很多多媒体和图形图像相关的处理： https:// github.com/google/grafi ka
3. 编码
编码主要难点有两个：1. 处理硬件兼容性问题。2. 在高 fps、低 bitrate 和音质画质之间找到平衡。
iOS 端硬件兼容性较好，可以直接采用硬编。而 Android 的硬编的支持则难得多，需要支持各种硬件机型，推荐使用软编。
4. 传输
传输涉及到很多端：
- 从主播端到服务端
- 从收流服务端到边缘节点
- 再从边缘节点到观众端
推流端和分发端理论上需要支持的并发用户数应该都是亿级的，不过毕竟产生内容的推流端在少数，和消费内容端播放端不是一个量级，但是他们对推流稳定性和速度的要求比播放端高很多，这涉及到所有播放端能否看到直播，以及直播端质量如何。
很多人吐槽现在的 CDN 不靠谱，我也承认传统的 CDN 在新时代显得心有余力不足。你能够借助 CDN 快速实现大规模的流分发，但是稳定高速的推流上传可能还需要自己做很多工作。这也是为什么我们七牛在这方面做这么多工作的原因之一。
如果要自己动手做，服务端方面最好的参考资料可能是这个了： v3_CN_Home · ossrs/srs Wiki · GitHub
国民首席、熊猫 TV 首席架构师杨武明在「Gopher 北京聚会」上做过一个「Golang在视频直播平台的高性能实践」的分享，值得参考： https:// mp.weixin.qq.com/s? __biz=MzAwMDU1MTE1OQ==&mid=404230356&idx=1&sn=6b73f971c4cf1170adaf4d249480ed9a&scene=1&srcid=0301qrbBZPrLxORTiD5D5IO1&key=b28b03434249256be5dfe068862f4c51d10c5e16b3659de35ce26bd4868f3a186366844bc7a8d3eaf48192b75536009b&ascene=0&uin=MTUwMTI2NjQ2MA%3D%3D&devicetype=iMac+MacBookPro11%2C2+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=TplbLKZJE2ZwCTACdAM6vZw%2FaJtVhaRrbn0An3uI6OAbctOQaAXHM9DZBdalM5Fi
PPT 地址： ppt/GolangPerformancePractice.pdf at master · yangwm/ppt · GitHub
5. 服务端处理
为了让主播推上来的流适配各个平台端各种不同协议，需要在服务端做一些流处理工作，比如转码成不同格式支持不同协议如 RTMP、HLS 和 FLV，一路转多路流适配各种不同的网络状况和不同分辨率的终端设备。
6. 解码和渲染
解码和渲染，也即音视频的播放，目前 iOS 端的播放兼容性较好，在延迟可接受的情况下使用 HLS 协议是最好的选择。Android 的硬件解码和编码一样也存在兼容性问题，目前比较好的开源播放器是基于 ffplay 的 ijkplayer： GitHub - Bilibili/ijkplayer: Android/iOS video player based on FFmpeg n3.0, with MediaCodec, VideoToolbox support.
目前，我们七牛在客户端采集、编码解码以及推流拉流加速方面做了很多工作，以上干货也是基于这个过程中踩过的坑整理出来的： Pili Streaming Cloud · GitHub
既然是创业，肯定要考虑到前期投入和未来的商业化，这方面我建议先看看熊猫 TV 庄明浩的长文分析： http:// zhuanlan.zhihu.com/p/20 717041
他在投入熊猫 TV 创业之前以投资人的视角从投资的角度深入观察、分析了视频和直播行业 2 年。
最近正好在做这方面的项目。
虽然是采购方，天天跟工程狮混在一起，对架构也略有了解。
写了大致的结构图，基本已经很清楚了。
懒的看文章的，直接点击放大，看原图就可以了。
新兴的直播行业现在正处于一个爆发式增长的状态，先从以秀场为主的直播方式，再到游戏直播，再到以UGC（user-generated Content）为主的内容生产方式的移动直播，将各行各业的内容以直播的方式分享。
不同模式的直播产品正在涌入市场，目前国内直播App就有200多个，其中100左右个项目获得了融资，形成激烈的竞争。
而背后的视频直播系统也需要一个庞大的技术链支持，下面简单介绍一下视频直播系统的技术链。
1.直播类型
视频直播根据不同的服务对象，大致可以分为2B和2C两种类型。
两种类型在技术本质上没有太多区别，但在产品形式上有很大区别。
2B指的是为企业提供直播服务。
例如微吼、易直播、趣直播、视秀等平台，帮助企业做直播解决方案。
企业召开发布会，就可以使用这些公司的服务。企业搭建专属直播室，企业级直播服务公司可以提供标准化的产品，也可提供个性化的定制服务，将其API嵌入自家App中。
2C指的是为普通用户提供直播服务。
市场上大部分直播平台都是这类型。又可分为一对一和一对多。
一对一是指视频源从一个客户端传输到另一客户端。如Facetime，Skype，微信，QQ的视频通话功能。
一对多是指视频源从一个客户端传输到多个客户端。这种形式即“网络视频直播”。
根据直播内容及形式又可分为以下几个种类：
秀场直播。
主要是主播展示才艺的形式，大部分为女性主播，是中国最早的直播形式。
目前秀场直播主要有爱奇艺奇秀、腾讯QT星主播，优酷的来疯等等。
电竞直播。
以游戏赛事，游戏教程等为主要内容。最先是在美国兴起的http://Justin.TV，之后改为Twitch，被亚马逊收购。国内主要有斗鱼，战旗，熊猫，虎牙等游戏直播平台。
移动直播。
是以移动设备为视频源的直播方式。这种形式最早在2015上半年，起源于美国的创业公司Meerkat，Periscope。之后Periscope被Twitter收购，Facebook也涉及这一领域，在Twitter，Facebook的竞争压力下，Meerkat放弃了直播视频社交网络业务。
在2015年下半年，中国拷贝了这种形式。以视频化社交为方向，代表产品有映客和花椒，陌陌美拍等的直播功能。
活动直播。
主要为各种现场活动提供直播服务。这种服务通常由toB直播服务公司提供。需要相对好的人脉资源，直播要求高，行业壁垒高，大部分创业者无法涉及。对各种讲座，峰会以及商业活动进行直播，主要有微吼直播等。对各种演唱会的直播，主要有优酷，乐视等大型视频网站。
而在内容划分上，各中直播模式依赖不同的内容生产方式。如下图所示：
注：
UGC，User-generated Content也称为UCC，User-created Content
PGC，Professionally-generated Content也称为PPC，Professionally-produced Content
OGC，Occupationally-generated Content
2.视频直播系统
一个直播系统大概可以分为一下几个模块，媒体模块，服务模块，管理模块。
媒体模块是直播系统的技术核心，服务模块是关乎用户体验，管理模块对数据，系统进行管理控制。
2．1媒体模块
2.1.1采集
采集是直播系统中的第一环节，获取视频源。
因为iOS是软硬件种类不多，官方也提供了稳定可靠的接口，比较简单。
Android因为机型种类繁多，需要适配机型，会是很大一部分工作。
而PC也面临各种摄像头驱动，难点在于机型适配。
2.1.2前处理
前处理，主要用于图像美化，风格化，图像处理方面。
当前直播的美颜功能已不可或缺，除了秀场需求以外，在UGC内容生产方式下，大量的内容对美颜都有较高的要求。
美颜简单的可以通过美颜镜头，但局限性大，限于PC端的主播，更好的办法是通过软件实现，需要图像处理方面的人员，美颜算法需要需要用到GPU编程，要自己参考论文去研究。
难点在于美颜效果是否自然，GPU占用与效果的平衡。GPU用于高性能计算，但功耗也相对高，需要考虑到手机温度对数据采集的影响。温度过高，摄像头容易掉帧。图像处理不仅仅是美颜，在交互中可能会涉及到滤镜，人脸识别，人物风格化等，使得客户拥有更好的互动体验。
目前iOS上比较好的图像处理库是GPUImage，提供了丰富的预处理效果，也可利用该库自定义设计。
Android上也提供了功能强大的图像处理库grafika。
2.1.3编码
在编码方面，有两种编码方式，硬编码（硬件）与软编码（软件）。
目前大部分硬件都支持硬编码，但在Android上存在兼容性问题，源于不同厂商的芯片差异巨大，难以构建统一的库来兼容全平台。
编码的工作主要是对视频，音频的原始数据进行编码处理，得到可用的视频，音频数据。
编码涉及一系列的技术，常用的编码方式有CBR、VBR；对于视频，常用的编码标准是H.265、H.264、MPEG-4等，可封装为MKV、AVI、MP4等；对于音频的常用编码标准有G.711μ、AAC、Opus等，封装有MP3、OGG、AAC等。
编码通过压缩音视频数据来减少数据体积，方便音视频数据的推流，拉流和存储。大大提高存储传输效率。
H.265是当前性能最高的编码技术，在相同视频质量下，相比于H.264，H.265仅需一半的带宽，使得低于1.5Mbps的网络能够传输1080p的高清视频。
在编码方面的核心是平衡分辨率、码率、帧率、GOP（Group of Pictures）使得体积与画质达到最优，参数组合为技术核心，也是个家的商业机密。
2.1.4传输
传输涉及系统的多个部分，连接主播端，服务端，客服端等多个部分。
传输效率高与否决定直播系统的性能好不好，传输是直播系统非常重要的技术核心。
下面是传输的简单示意图：
从推流端到服务端。数据经过推流端采集和预处理，编码之后推流到服务端，流传输就涉及到相应的传输协议，最常用的协议是RTMP(Real Time Messaging Protocol，实时消息传送协议)，RTMP是Adobe Systems公司为Flash播放器和服务器之间音频、视频和数据传输开发的开放协议。还有RTSP,HLS等。
RTMP的传输延迟通常在1-3秒，符合手机直播对性能的要求，因此RTMP是手机直播中最常见的传输协议。之后通过QoS（Quality of Service指一个网络能够利用各种基础技术，为指定的网络通信提供更好的服务能力, 是网络的一种安全机制，是用来解决网络延迟和阻塞等问题的一种技术。）将流数据推送到网络端，通过CDN分发。
在直播场景中，网络不稳定很常见，需要通过QoS来保证直播体验。服务端还需要对数据流一定的处理，转码，使得数据流支持HLS，HTTP-FLV，RTMP等格式的拉流，支持一转多，适配不同网络、分辨率的终端。
推流作为视频源的传输，在稳定性速度上都比拉流高得多。实现推拉流的技术线没有雄厚的人才与资金是不现实的，通常需要依赖第三方的CDN提供商。
在实际中，大多数直播平台会接入多个视频云服务提供商，做拉流线路互备，视频集群也是可优化部分来提高直播流畅性与稳定性。
2.1.5解码，渲染
拉流获取音视频数据后，需要通过解码器解码，渲染才能在播放器上播放。
H.264和H.265是有所压缩的，在解码恢复之后是缺损的原数据。
之前提到的体积最小画质最优的编码参数，就是在这里恢复画质的，该参数组合是非常重要的技术。现在的播放器普遍都需要高清支持，解码也应选择硬解码。iOS能够较好的支持，但Android还需要很多工作去弥补Android在平台差异的缺陷。
而在播放端，保证音画同步的同时，保证稳定流畅的直播流量，需要服务端与播放端做调度优化。
2．2服务模块
服务模块涉及用户体验，从用户方的收益一部分也来自于服务模块。
系统需要完整的礼物，支付，运营，任务等系统，复杂度不亚于页游系统。
国内直播平台的营利模式决定：平台从打赏中抽成。礼物系统就成为平台的盈利方式。礼物系统是多数视频直播平台的标配。
在中国部分人有礼品消费的习惯。平台为用户主播设计多个等级、爵位等头衔。利用财富榜，家族榜，等级榜类拉动消费。
IM技术。IM即时通讯服务。包括聊天室、弹幕等。弹幕交互方式是很好的体验，偏年轻化，大量用户愿意通过弹幕互动。高峰时，弹幕消息量特别大，一是需要考虑到高峰时弹幕的实时性和高并发量，二是要在产品策略上作一些体验上的优化。
支付系统需要仔细处理各种异常，消费流水记录。
系统还需要在政策上作相应的考虑，例如国家规定所有直播必须打水印并存留15天以上。在内容审核方面，淫秽、暴力、犯罪、敏感问题的审核。在数据分析方面也需要相应的统计系统。
2．3管理模块
管理模块包括客户端的设计与维护、后台数据库、后台控制系统。
该部分根据直播平台的特性、定位设计相应的管理策略。具体技术上还包括缓存、分布式文件存储、消息队列，运维系统等等。
2．4 OBS直播软件
Open Broadcaster Software（OBS）是一款很好用的PC端直播开源软件。该软件提供了对H264 (x264) 、AAC编码的支持。支持多场景多数据源，到Twitch, YouTube等平台的LRS支持。支持输出视频，基于GPU的游戏捕捉提供高性能的视频流等等众多支持。能够很好地完成采集、编码。
以上简单地介绍了视频直播系统的技术构架，构架本身容易，但构建性能优良的构架就很有难度，需要在传输速度与效率、推流端兼容性、客户端体验上作深入的工作。
但说实话，如果仅从问题描述来看，我觉得这样的格局，对未来的生存表示担忧。
现在铺天盖地的直播，从游戏直播、到秀场、到移动端。
看似是块很大的蛋糕，但能留到最后的，一定是巨头中的其中一家。
很多初创团队，都觉得直播的市场很大，机会很多，但这个时间点入场，给初创者的时间并不多。
王思聪的熊猫TV，腾讯投资斗鱼和龙珠，最近疯狂烧钱的腾讯直播和企鹅直播，360投的花椒直播，陌陌的哈你直播、微博的一直播，金沙江投资映客，这些豪华阵容在直播的战场上厮杀的火热。
这类2C直播平台最重要的就是利用直播内容和主播人气吸引巨大的流量。
有流量就有钱进来。
这样的游戏规则下，各大2C平台就疯狂的买内容，签主播。广告狂轰乱炸，争夺江湖地位。
疯狂烧钱的同时，也只有一轮又一轮不断的融资才能生存下来。
有资本进入的地方就有对赌。
不管是2C的映客、斗鱼、熊猫，还是2B的微吼直播。
相比2C端频繁的资本大战，在2B端发展还是相对稳健。
还是以微吼直播为例，被爆已完成B轮对赌，对赌金额达7000万元人民币，有望在年内成为业内首家盈利的直播平台。
现在企业直播服务、城市直播服务的市场还是被严重低估。
尽管现在很多工作上的事情在微信里沟通、讨论。但是我们知道，选择微信，只是因为大家都在用它！只是大家都在用它！
封闭的社交环境使其在商业协作中难登大雅之堂的主因。
单从沟通介质所能承载的信息量来看：文字 < 语言 < 视频 < 面对面交流。
网络直播这种面对面的交流能够承载最丰富最真实的信息，这也让微吼直播这样的2B直播行业迎来了千载难逢的机会。
回到题主的问题，我觉得自己搭建直播平台，还不如在别人已经创造好的平台上发现新的机会。
（个人观点，人还是要有梦想的嘛。）
很多回答，已经给题主提了不少的建议。知乎上网络服务公司，响应也真是够快的，在问题的评论里，有几家也跟题主对接上了。
粗略看了下，2C和2B的都有，直播服务的大趋势就是这样。
（图片我下午拍的，2B直播调试现场）
最后，补充一句：搭建视频直播系统一定要符合中国特色。
为什么捏？
一个服务商告诉我的：
我们架的这套视频云协作系统，核心技术是思科的。
老牛逼了，海外版本预设的是，不同的人发言的时候，系统会自动判断麦克风声音方向，高清摄像头就会自动转向发言的人，并且自动优化构图。然后，系统会把发言的人放大，突出显示在现场的大屏幕上。
但引进到国内后，这套系统就被改成了：
领导的画面永远最大，并且永远在最中间…
金山18667号码农
，码农
家美
，思维跳跃狂
凌寒
，音视频技术攻城狮，计算机硕士
提问者如果打算自建视频直播平台，成本确实很高，技术门槛也比较高。我就从调用相关云服务的角度来说好了。相对来说，效率要高得多。
搭建一个完整的视频直播系统，首先要了解一般直播产品的架构。架构图如下：
其次要选择一个功能完善，性能良好，运行稳定的视频云平台。目前市场上主流的有百度云，腾讯云，乐视云，欢聚云，暴风云，网易视频云，目睹直播这些。还有其他的就不一一列举了，重点分析一下列举的这几个的特点。
腾讯云。定位：Paas层。推流SDK支持Windows、Web、Android、iOS。播放器SDK支持Web（Flash、H5）、Android、iOS。CDN全球400+。优势是互动直播方案比较成熟，但是稳定性不佳。收费方式是按核心机房和边缘节点的带宽进行计费。技术支持：开发文档和工单。
网易视频云。定位：Paas层。推流SDK支持Windows、Web、Android、iOS。播放器SDK支持Windows、Web、Android、iOS。CDN数600+。优势是推流码流可以自适应，自带美颜、混音等扩展功能。直播功能价格，同样按流量和带宽计费，但是使用推出的套餐会相对别家便宜很多。技术支持：文档和工具交流，提供1V1的专家技术支持。
百度云指的是百度开放云。定位是Paas层。现在发布到2.0版本，还比较成熟。推流SDK 支持PC、Android、iOS,移动端支持闪光灯、滤镜等功能，暂不支持动态码流自适应。播放器SDK支持Web（Flash、H5）、Android、iOS。CDN主要覆盖了一二线城市。优势是功能较完善，但是使用复杂度很高。价格有两种计费方式分别是按直播下行流量和带宽峰值。技术支持主要通过开发文档和QQ群。
欢聚云也就是我们知道的YY。定位：Paas层。目前云服务还没开放，需要邀请码才能试用。推流SDK支持PC、Android、iOS和Web。播放器SDK支持Web端（Flash、H5），移动端支持HLSFLV。优势是支持音视频连麦。价格不详，技术支持只有一些文档。
暴风云。定位：Paas层。推流SDK有Windows直播助手和移动端直播助手。播放器SDK支持Web(Flash、H5)、Android、iOS。CDN数不详，但是默认直播并发不能超过2000人。优势是在视频云是做的最早的公司。计费也有两种，按流量和按带宽。技术支持：开发文档和QQ交流。
目睹直播。定位：Saas。推流SDK支持Windows、Web、Android、iOS、导播台。播放器SDK支持PC、Android、iOS。CDN数不详。优势是扩展功能较丰富。计费：0.04~0.06元/分钟/人。技术支持不详。
总的来说，这些产品各有优劣。个人觉得，有两方面需要注意。一个是视频云服务的稳定性。如果本身云服务系统就有一大堆问题，那接入的时候肯定问题更多。所以可以先考虑行业大公司的云服务。网易视频云和百度云的稳定性都做的不错。第二个是技术支持的力度，换句话说出了问题之后的响应和解决速度能有多快。网易视频云在技术服务有1V1的专家支持，这在业界尚属领先。总的来说，网易视频云的性价比在云服务商里算是最高的。
选择完视频云服务公司，就可以根据相应的情况进行搭建，接入直播功能。具体操作的时候，肯定还是会有各种各样的问题，那就不是一个知乎问答能解决的了。
张腾
，欢迎同行交流~
郑岐
，网易公司-IM-直播-短信-专线电话
一个android手机直播客户端demo，就是用摄像头采集视频，麦克风录音采集音频，硬编码h264+aac裸流，rtmp协议推流。100%纯Java（你没看错，纯的！）不依赖任何本地代码（包括ffmpeg）。已在SRS和nginx-rtmp上测试过，CPU功耗低。
FullHouse
Code Diy
，Diy Code
王智开
，产品运营
凛冬
梦多拉拉