Android互动直播APP开发入门笔记

Android互动直播APP开发入门

大纲
直播的现状： 直播平台200+，3.25亿用户规模，90亿市场规模。
2016年直播元年：
1.基础条件的成熟：网络环境4G+WiFi（CDN节点）、软硬件水平提升、游戏行业的培养、弹幕文化
2.人性的驱动：窥探欲、炫耀、虚荣
3.实时互动：文字>图片>视频

直播的盈利点：直播打赏抽成、商品交易分红、付费直播提成（CCTV、PPTV）、会员增值服务、广告收入

直播流程的详解：

1.采集推流端：采集、前处理、编码、推流

采集>

音频采集：将模拟信号采集成数字PCM，技术参考点：采样率（8KHz）、位宽（8bit,16bit）、声道数（2）、音频帧（0.02s）;
图像采集：摄像头采集YUV原始数据，技术参考点：分辨率、采样频率、采集格式、传输通道
采集源：摄像头、屏幕录制、文件推流
Android采集：setPreviewCallback获取视频原始数据，MediaRecorder获取音频数据。需要做机型适配
iOS采集：AVFoundation.framework
PC采集：摄像头、mjpeg-streamer（屏幕）

前处理

视频： 美颜（磨皮：模糊处理：均值模糊、高斯模糊、中值滤波；美白：识别皮肤，调整色值）、滤镜（GPUImage开源库，实时处理运算快）、水印（时间戳、Logo版权保护、监管）
音频：混音（音频信号的线形叠加，采样值溢出的处理）、降噪（傅里叶变换：去除人耳无法识别的频率降低大小）、变声特效（音色、音调 SoundTouch音频处理开源库：变速、变色、变调）

编码和封装

YUV420SP压缩为H264，减小存储空间，减少传输时间
编码原理：去掉以下冗余
（1）空间冗余：相邻像素之间的相关性
（2）时间冗余：相邻图像之间内容相似
（3）编码冗余：像素值出现的概率不同（哈弗曼表，出现概率高的像素使用短编码；无损压缩，类似rar、zip）
（4）视觉冗余：视觉对细节的不敏感性（有损压缩）
常见的图像编码器：H264、H265、VP8、VP9
H264编码知识：
（1）NALU：网络提取层单元
（2）SPS：包括了一个图像序列的所有信息
（3）PPS：包括了一个图像所有片的信息
（4）I帧：帧内编码帧
（5）P帧：前向预测编码帧
（6）B帧：前向后向双向预测编码帧
（7）GOP（Group of Picture）：两个I帧之间的图像组，CDN缓存GOP做到直播秒开
常见的音频编码器：AAC、PCM、WAV、OGG
常见的封装格式：FLV、TS、AVI等

直播的推流与优化

推流协议：
（1）RTMP协议：CDN支持良好、协议简单容易实现、数据包封装简单；缺点：基础TCP，传输成本高、Adobe私有协议
（2）WebRTC协议：W3C标准、基于UDP；缺点：CDN支持较差
（3）UDP自定义协议：定制化空间大；缺点：开发成本高、CDN不友好
优化思路：
（1）保证音频的传输
（2）调整码率、FPS、分辨率

2.服务端：转码、录制、截图、鉴黄

转码目的：为了适应不同的网络带宽、不同的终端处理能力和不同的用户需求，为直播平台提供很多增值服务
录制截图：录制用于回放点播、截图用于封面
鉴黄：基于深度学习的图片识别技术，对直播流进行控制：色情、疑似色情、正常、性感

3.播放端：拉流、解码、渲染

常见的拉流协议：
（1）RTMP：
（2）HTTP-FLV：
（3）HLS：延迟较大
解码：编码的逆过程，从音视频的数据中提取原始数据
（1）硬解码：速度较快，适配问题
（2）软解码
渲染：视频画面的显示，声音的播放；音视频的同步

4.互动系统：聊天、礼物、点赞、连麦

5.直播开发的工具：

推流端-OBS Studio https://obsproject.com/download

（1）支持桌面和文件推流
（2）支持多画面、多音频混合推流
（3）支持录制
（4）开源

服务器：一般使用Nginx搭建的RTMP

播放端：CUTV测试工具 http://www.cutv.com/demo/live_test.swf

（1）流信息展示丰富
（2）可设置缓冲时间
（3）网页版

其他辅助工具

（1）Softe AAC Converter：转化为AAC音频
（2）H264BSAnalyzer：分析H264视频格式
（3）FlvParse：分析FLV文件
（4）YUVPlayer：播放YUV文件

直播SDK

阿里云：
腾讯云：
欢聚云：
金山云：
UCloud：
七牛云：
声网：