Android IM SDK开发设计大纲

IM SDK开发

数据协议

数据编解码与数据加解密

• TLV编解码的JAVA实现与优化
• 数据加解密

SDK架构设计

公共部分

• TLV编解码
• 数据存储与共享
• 跨进程通信管理
• 配置管理
• 自定义异常
• 大数据埋点统计

APP进程

• 协议请求管理
• 协议响应管理
• 消息分发管理
• 第三方推送集成

PUSH进程

• push进程的状态管理
• TCP连接管理
• TCP连接重连策略
• 智能心跳策略与心跳的状态管理
• Alarm与WakeLock
• 数据的加密与解密
• 数据的发送与读取
• 数据的监听与分发

长连接保活

• Android Service进程保活
• TCP长连接保活

SDK功耗优化

• 重连策略（动态调整重连间隔）
• 智能心跳策略
• 协议请求超时（动态调整协议请求超时时间）
• 夜间模式（Doze原理）
• http请求跟心跳对齐
• http请求采用长连接进行转发

SDK稳定性监控

• 崩溃监控
• 异常逻辑监控
• 连接稳定性监控
• 心跳信息监控
• 流量消耗监控

网络问题分析

• TCP协议
• 网络劫持
• 网络延迟
• 移动数据网络的NAT问题，WIFI网络的NAT过小问题，，DHCP问题

IM SDK的核心

• 数据协议的设计
• SDK代码架构设计
• 数据编解码（TLV）的实现和数据加解密
• 进程保活
• 长连接保活（智能心跳，断线重连）
• 功耗优化（智能心跳，断线重连）
• TCP协议和网络问题的分析（网络延迟，网络劫持）

Android消息通信

不同进程间的通信

• 有的手机可能会在某些条件下拦截跨进程广播，跨进程Service等

Binder通信

• Activity
• Broadcast（广播接收延迟问题）
• Service（包含aidl，aidl的绑定关系被系统回收导致DeadObjectException）
• Provider（Provider的client端和server绑定崩溃问题）
• Messenger（aidl实现）
• 本地TCP
• 本地UDP

相同进程间的通信

• Handler
• CallBack
• 本地广播（LocalBroadcast）
• 面向接口编程与反射机制（Eventbus）

Android push进程保活

• 单独的push进程，降低单进程的内存占用，提升进程oom_adj优先级
• 前台service
• 后台播放无声的短音频（音频焦点获取与失去的问题，可能会影响到通话过程中的音频焦点）

TCP连接保活

智能心跳（考虑设备休眠问题）

• 二分法智能心跳探测
• 递增智能心跳探测（微信智能心跳策略）

重连策略

• 断线重连，连接失败重连，数据格式解析失败断线重连，亮屏触发重连
• 静态重连策略：简单的递增试重连（采用计算公式计算出的指数型结果固定重连间隔）
• 动态重连策略：经过累计计算的自适应重连（根据不同的网络环境，连接稳定情况等计算出一个权值，再根据这个权值去计算出合理的重连间隔）
• 静态协议超时时长：20秒
• 动态协议超时时长：根据历史协议请求响应的时长，再根据公式合理的计算出协议超时时长
• 以上的动态计算方式的策略方式类似于TCP协议的RTT和RTO的计算方式，TCP协议都是动态的去不断的调整这些值的

数据格式编解码和加解密

数据包协议（自定制）

• 公钥请求包（publicKeyRequest）
• 公钥响应包（publicKeyResponse）
• 加密请求包（encryptRequest）
• 加密响应包（encryptResponse）
• 设备注册请求包（registerRequest）
• 设备注册响应包（registerResponse）
• 设备登录请求包（loginRequest）
• 设备登录响应包（loginResponse）
• 账户上下线请求包（accountRequest）
• 账户上下线响应包（accountResponse）
• 同步通知包（syncForm）
• 同步请求包（syncRequest）
• 同步响应包（syncResponse）
• 同步响应结束帧包（syncFin）
• 直推包（pushResponse）
• 同步触发包（syncTrigger）
• 消息请求包（messageRequest）
• 消息响应包（messageResponse）
• Http转发请求包（transpondRequest）
• Http转发响应包（transpondResponse）
• 心跳请求包（heartbeatRequest）
• 心跳响应包（heartbeatResponse）

数据格式编解码

• 解决TCP的粘包问题
• 保证数据的安全性，验证一致性

字符串编解码

JSON（适合格式相对简单的数据）

• Jackson
• Gson
• probuffer

XML（适合大型数据格式，数据格式相对复杂）

• xmpp

二进制编码协议（速度快，带宽小，内容安全）

• mqtt
• tlv（反射优化）

数据加解密

• 二进制协议编解码一定程度上保证了数据的安全性，即使是抓包也无法直接查看明文，只能看到2进制或者16进制的数据
• 每次建立的socket连接后本地都会新生成一个key，然后用从服务器获取到的公钥对本地的Key进行RSA加密后上传到服务器，每次在数据发送出去的时候都把数据和Key进行异或操作，在收到数据的时候也对加密数据和本地的Key进行异或操作，因为对同一个数据进行连续的两次异或操作会把结果不变，例如：source_data^ key = encrypt_data，encrypt_data ^ key = source_data
• 我们采用Socket而不采用SSLSocket的原因是SSLSocket采用加密增大了传输数据，降低了2G网络环境下的传输效率，也不利于弱网环境下的网络数据传输，可能会造成更高的延迟，我们通常在http加密中应用RSA加密是针对一个des的key进行加密，而实际的http body数据体的加密采用的是des对称加密

网络通信协议（https://blog.csdn.net/lhd201006/article/details/79044552）

TCP协议

• 三次握手，四次挥手
• 网络拥塞策略：Nagle算法，滑动窗口，慢启动，拥塞避免，快速重传
• TCP连接的全双工通道
• TCP数据传输的粘包问题

长连接

• IM（即时通讯）
• 推送

短连接

• http，https（SSL）

UDP协议

• DNS（域名解析协议）
• DHCP（局域网动态主机配置协议）

抓包分析（wireshark + tcpdump）

网络问题

• 域名劫持（DNS劫持，local dns没有及时更新或者域名对应的ip被重定向）
• 长连接的端口劫持（常用端口劫持，例如http的80端口）
• Http内容劫持（运营商的重定向，运营商的网络缓存）
• Socket异常（UnknownHostException，SocketTimeoutException，NoRouteToHostException等）
• 移动4G的NAT心跳探测问题
• 网络延迟问题

IM SDK细节实现

Socket编程

• 域名解析时长
• 连接时长
• IO实现阻塞read数据，NIO实现非阻塞select数据
• 数据结束符EOF（read返回-1）

协议包超时机制的实现

• 队列扫描
• 线程等待

消息分发实现

• 多进程采用广播
• 单进程采用反射回调

同步通知处理实现

• 针对同一个账户的同步通知要按顺序处理，等上一个同步通知的响应完成之后才能进行下一个同步通知的处理
• 多线程与队列管理

AIDL跨进程通信

• 死亡代理
• DeadObjectException异常处理需要unbind后再重新bind才能成功

消息响应处理

• 策略模式实现

IM SDK功耗优化

耗电检测

• Battery Historian2.0

程序策略优化

• 重连策略
• 智能心跳策略
• 夜间模式（Doze原理）
• 补发心跳（在协议包超时的情况下补发一个心跳，如果心跳正常响应则连接不断线重连，如果补发心跳超时连接才断线重连，可以降低连接断线重连的次数）
• Http请求对齐
• Http转发
• WakeLock使用

IM SDK稳定性优化

• 崩溃日志搜集
• 大数据埋点监控
• 流量监控
• 数据格式编解码的效率问题（速度和容量大小）

数据存储与数据共享

• 数据存储采用SharedPreferences，sqlite数据库，SD卡文件存储
• 数据共享采用SD卡文件存储，contentprovider

多线程编程

• 原子性（java中long类型数据是64位的，在32位的操作系统上进行运算操作是非原子性，可能线程1刚更新完其中的4个字节，线程二就去读取另外4个字节）
• 可见性（volatile，基础数据类型的可见性）
• 有序性（JVM指令重排序）

线程池

• ThreadPoolExecutor实现原理
• 队列实现原理

线程之间的通信

• wait，notify，notifyAll与await，signal，signalAll（https://blog.csdn.net/codingtu/article/details/78431066）
• 线程interrupt
• 线程yield
• 线程sleep

锁机制

• 可重入锁与不可重入锁
• lock与unlock（https://blog.csdn.net/lhd201006/article/details/50986016）
• synchronized

设计模式

• 工厂模式（创建entity）
• 状态模式（心跳，推送）
• 责任链模式（拦截器）
• 单例模式
• 策略模式（消息响应处理）
• 观察者模式（消息分发给应用）

ANR，OOM问题分析

• 了解ANR原理
• OOM问题可以用MAT分析dump出来的hrof文件，查看内存占用情况
• 看崩溃日志，看Framework源码

兴趣篇

• Android插件化
• Android热修复
• Android组件化
• AI与Android日常技术开发的结合
• 大数据与日常业务开发的结合

总结

• 想想两年前能做出这么一套IM客户端体系也是不容易，耗时3年的打磨，策略不断的优化，包括过程中遇到各种网络问题的分析，确实很不容易，这的确是一个很有含金量的项目，改变了我自己，也同时改变了一个业务线，基础性的东西并不是每一个公司都能花时间和经历去做，努力固然重要，平台和机会更加重要，即便现在再回顾下，也觉得现在的我都在做些什么鬼。。。