Linphone 架构分析研究

Linphone 是一款跨平台的可视电话客户端软件，同时支持视频通话功能。
Linphone 可以在Linux，windows 等主流操作系统平台上运行。
Linphone 基于开源软件构建，本身也是开源软件。

Linphone 架构中sip 协议的处理基于osip 以及exosip 两个开源库实现，媒体数据的选择整合处理使用mediastream2完成，该软件使用ffmepg、speedx等多款开源软件完成音视频的编解码，并通过ortp 完成基于rtp 协议的音视频数据传输。ortp 是一款处理RTP 会话的开源软件。

整个软件分为两层，上层为用户接口前端（user interface frontends），下层为linphone 核心引擎（linphone core engine）。

功能模块说明：
Liblinphone 核心引擎实现了linphone 所有的功能函数，而且能够方便的添加音频和视频的呼叫功能。Liblinphone 也提供高层的API，用来初始化，接收或者终止呼叫。Liblinphone 依赖于下面三个组件：

1 Mediastreamer2
这是一个支持多种平台的轻量级的流技术引擎，主要适合于开发语音和视频电话应用程序。该引擎主要为 linphone 的多媒体流的收发，包括语音和视频的捕获、编码解码以及渲染。

2 ortp2
Ortp 是一个RTP 库。为基于RTP 协议的媒体流传输提供支持。通过mediastream2 编码的数据就是使用ortp 库发送到网络的另一端。

3 eXosip2
Exosip2 为sip 协议的实现。这部分实际上是由exosip2 和osip2 两个库共同完成的。使用sip 协议完成路由、媒体协商以及会话的建立和管理，为直接的媒体流的传输提供基础。

通话双方在通信前使用exosip 进行会话协商。上图左边部分展示这一部分的流程。Exosip 后台任务完成数据的接收和发送，并通过事件队列通知linphone 底层的状态变化。
filter 的构建在会话协商成功建立后就顺带完成了，并且ticker 任务也跑起来了。此时按照filter graphics 构建的通道，音视频流不断的从硬件设备上读取，并经过编码压缩送给RTP 会话，之后送到对端，对端到达的音视频流也经过RTP 会话接收送到解码解压缩filter，还原出原始的音视频流交给硬件设备播放。媒体数据在这两路流中源源不断的流动，完成了双方的可视通话。
上层linphone 的core 任务也不断的对底层进行迭代检查。所做的基本工作如下：
对于sip 协议部分，core 一直等待从事件队列上拿事件。这些事件是exosip 任务在处理sip 消息过程中添加到事件队列上的。每当得到新的事件后，core 就从应用层的角度出发，进行处理。
对于视频流：基本上只处理rtcp 数据包到达的事件。stream 上也有一个事件队列，用于保存该流上的相关事件。对于rtcp 数据包事件，core 也只处理sr 类型rtcp 包，即发送端报告，得到jitter 和包丢失率。如果设置了自适应比特率，则调用相关接口进行处理。此过程不断进行，直到当前事件上的包处理完。
对于音频流，检查流是否还是活动的。通过比较RTP stats 中接收的数据包数目是否发生变化，如果在超时时间到达后，接收的数据量还没有发生变化，则认为音频没有响应。

参考资料：
Linphone 分析 岳维功