音视频流媒体高级开发进阶：从音视频基础知识到技术实践

站在音视频行业风口

站在风口，猪也能飞”。在已经到来的2022年，音视频行业依旧是怎么也绕不过去的风口。

一方面，随着各项5G政策的落实，音视频+5G风口，将会深入挖掘音视频产业的无限潜力，加速与云计算、人工智能等领域的深度融合，不断催生新的业态和新的商业模式。

另一方面，实时音频也在助力在线教育风口，因为疫情，让越来越多的学生、家长、教育者都意识到了在线教育的重要性。音视频技术，无疑是在线教育背后一只强大的推手。

提前储备高薪技术力

面对音视频风口的重锤出击，你还不了解什么是音视频技术？让我们一探究竟。

四类音视频技术：

1、音视频高性能编解码和封装技术（监控相机）

2、音视频直播的推流拉流技术（直播技术，5G应用）

3、音视频渲染和界面交互技术（短视频）

4、各类智能设备的音视频处理（智能硬件，无人机）

目前学习音视频技术的优势：

[岗位多工资高]：音视频技术广泛应用于视频处理播放、直播、无人机、安防、智能机器人。

如何把握“音视频”风口

一名合格的音视频开发人员，需要掌握哪些技能呢？音视频技术该怎么学？

下面是个人整理的关于音视频开发学习的技术知识点，相信有了这些之后你能更好的掌握音视频开发。

音视频开发标准技术路线

音视频基础知识

• 音频基础知识,PCM 格式、编码原理等

• 视频基础知识,YUV 格式、IPB 帧原理等

FFmpeg命令实战

命令帮助

• 如何查询 Ffmpeg 命令帮助
• Ffmpeg 命令分类

ffplay命令

• ffplay 播放控制
• ffplay 播放 pcm
• ffplay 播放 yuv
• ffplay 使用 filter 播放

ffmpeg 命令

• pcm 提取
• yuv 提取
• aac 提取
• h264 提取
• 视频录制命令
• 多媒体文件的分解/复用命令
• 裁剪与合并命令
• 图片/视频互转命令
• 直播相关命令
• 各种滤镜命令

FFmpeg 编程实战

音视频渲染实战

• SDL 环境搭建
• SDL 事件处理
• SDL 线程处理
• YUV 视频播放实战
• PCM 声音播放实战

FFmpeg API 精讲

• FFmpeg 框架分析
• FFmpeg 内存模型分析
• FFmpeg 常用结构体精讲

音视频编解码

• FFmpeg 解码流程分析
• FFmpeg 编码流程分析
• AAC 编解码原理
• H264 编解码原理
• AAC 解码实战
• AAC 编码实战
• H264 解码实战
• H264 编码实战
• MP3 转 AAC 实战

音视频封装格式

• FLV 封装格式分析
• MP4 封装格式分析
• 多媒体解复用实战
• 多媒体复用实战
• 多媒体转封装格式实战
• 音频重采样
• 视频尺寸变换

音视频过滤器

• 音视频过滤器
• 视频过滤器
• 过滤器实际项目实现

ffplay 播放器

• 掌握 ffplay.c 的意义
• ffplay 框架分析
• 音视频解码
• 音视频控制
• 音视频同步
• 参数机制

播放器开发实战

• 播放器框架分析
• 模块划分
• 音视频解码
• 播放器控制
• 音视频同步

ffmpeg 录制转码

• 掌握 ffmpeg.c 的意义
• ffmpeg 框架分析
• 音视频编码
• 封装格式转换
• 提取音频
• 提取视频
• logo 叠加
• 音视频文件拼接
• filter 机制

流媒体客户端实战

RTMP 流媒体

• RTMP 协议分析
• wireshark 抓包分析
• H264 RTMP 封装
• AAC RTMP 封装
• RTMP 拉流实战
• H264 RTMP 解析
• AAC RTMP 解析
• RTMP 推流实战

HLS 流媒体

• HLS 协议分析
• HTTP 协议分析
• TS 格式分析
• wireshark 抓包分析
• HLS 拉流实战
• FFmpeg HLS 源码分析
• HLS 多码率机制

HTTP-FLV 流媒体

• HTTP-FLV 协议分析
• wireshark 抓包分析
• http chunk 机制分析
• HTTP-FLV 拉流实战
• FFmpeg HTTP-FLV 源码分析

RTSP 流媒体实战

• RTSP 协议分析
• RTP 协议分析
• H264 RTP 封装
• H264 RTP 解析
• AAC RTP 封装
• AAC RTP 解析
• RTCP 协议分析
• RTSP 流媒体服务器搭建
• RTSP 推流实战
• RTSP 拉流实战
• wireshark 抓包分析

SRS 流媒体服务器

SRS 3.0 源码剖析

• 整体框架分析
• RTMP 推流分析
• RTMP 拉流分析
• HLS 拉流分析
• HTTP-FLV 拉流分析
• FFmpeg 转码分析
• 首屏秒开技术分析
• forward 集群源码分析
• edge 集群源码分析
• 负载均衡部署方式

WebRTC 实战

WebRTC 中级开发

• WebRTC 通话原理分析
• WebRTC 开发环境搭建
• coturn 最佳搭建方法
• 如何采集音视频数据
• 一对一通话时序分析
• 信令服务器设计
• SDP 分析
• Candidate 类型分析
• Web 一对一通话
• Web 和 Android 通话
• AppRTC 快速演示

WebRTC 高级开发

• 自定义摄像头分辨率
• 码率限制
• 调整编码器顺序
• Mesh 模型多方通话
• Janus 框架分析
• Janus Web 客户端源码分析
• Janus Android 客户端源码分析
• Janus Windows 客户端源码分析
• Janus 信令设计
• 基于 Janus 实现会议系统
• WebRTC 源码编译

Janus 服务器源码分析

• 源码结构
• 插件机制
• 线程分析
• 信令交互过程
• videoroom 分析

SRS4.x 源码分析

• RTMP 转发 WebRTC 逻辑
• WebRTC 转发 RTMP 逻辑
• WebRTC 音视频一对一通话
• WebRTC 多人通话
• WebRTC SFU 模型分析
• stun 分析
• turn 分析
• sdp 分析
• rtp 分析
• srtp 分析
• 拥塞控制算法
• FEC
• jitter buffer

Android NDK 开发

音视频开发

• So 库适配总结
• JNI Native 层构建 Java 对象
• JNI 异常处理
• 编译 FFmpeg
• 编译 ijkplayer
• 基于 ijkplayer 二次开发
• OpenSL ES 播放音频数据
• MediaCodec 硬件解码
• OpenGL ES Shader 显示视频
• RTMP 推流直播

GSYVideoPlayer 源码分析

• 多视频同时播放
• gif 截图
• 边播放边缓存
• 水印
• 弹幕

音视频的路很长，更多的还是要靠自己去学习和实践，带着追求极致的精神去探索和优化，最终，大家都能快速成长，成为真正的行业专家！

音视频开发 学习资料、教学视频有需要的可以自行添加学习交流群或者资料获取