流量控制

当资源成为瓶颈时，服务框架需要对消费者做限流，启动流控保护机制。流量控制有多种策略，比较常用的有：针对访问速率的静态流控、针对资源占用的动态流控、针对消费者并发连接数的连接控制和针对并行访问数的并发控制。在实践中，各种流量控制策略需要综合使用才能起到较好的效果。

1. 静态流控

静态流控主要针对客户端访问速率进行控制，它通常根据服务质量等级协定(SLA)中约定的QPS做全局流量控制，例如订单服务的静态流控阈值为100QPS，则无论集群有多少个订单服务实例，它们总的处理速率之和不能超过100QPS。

1.1 传统静态流控设计方案

传统的静态流控设计采用安装预分配方案，在软件安装时，根据集群服务节点个数和静态流控阈值，计算每个服务节点分摊的QPS阈值，系统运行时，各个服务节点按照自己分配的阈值进行流控，对于超出流控阈值的请求则拒绝访问。
服务架构启动时，将本节点的静态流控阈值加载到内存中，服务框架通过Handler拦截器在服务调用前做拦截计数。当计数器在指定周期T到达QPS上线时，启动流控，拒绝新的请求消息接入。
有两点需要注意：

• 服务实例通常由多线程执行，因此计数时需要考虑线程并发安全，可以使用Atomic原子类进行原子操作。
• 到达流控阈值之后拒绝新的请求消息接入，不能拒绝后续的应答消息，否则这会导致客户端超时或者触发FailOver，增加服务端的负载。

1.2 传统方案的缺点

静态分配方案的最大缺点就是忽略了服务实例的动态变化：

• 云端服务的弹性伸缩性是服务节点数处于动态变化过程中，预分配方案行不通。
• 服务节点宕机，或者有新的服务节点动态加入，导致服务节点数发生变化，静态分配的QPS需要实时动态调整，否则会导致流控不准。

分布式服务框架的一个特点就是服务的动态上下线或自动发现机制，这就决定了在运行期服务节点数会随着业务量的变化而频发发生变化，在这种情境下静态分配方案显然无法满足需求。
当应用和服务迁移到云上之后PaaS平台的一个重要功能就是支持应用和服务的弹性伸缩，在云上，资源都是动态分配和调整的，静态分配阈值方案无法适应服务迁移到云上。

1.3 动态配额分配制

为了解决静态分配的缺陷，在实践中通常会采用动态配额分配制。它的工作原理：由服务注册中心以流控周期T为单位，动态推送每个节点分配的流控阈值QPS。当服务节点发生变化时，会触发服务注册中心重新计算每个节点的配额，然后进行推送，这样无论是新增还是减少服务节点数，都能够在下一个流控周期内被识别和处理，这就解决了传统静态分配方案无法适应节点数动态变化的问题。
在生产环境中，每台机器/VM的配置可能不同，如果每个服务节点采用流控总阈值/服务节点数这种平均主义，可能会发生性能高、处理快的节点配额很快用完，但是性能差的节点配额有剩余的情况，这会导致总的配额没用完，但是系统却发生了静态流控的问题。一种解决方案就是服务注册中心在做配额计算时，根据各个服务节点的性能KPI数据(例如服务调用平均延迟)做加权，处理能力差的服务节点分配的指标少些，性能高的分配的指标多些，这样就能够尽可能低地降低流控偏差。
还有另外一种解决方案就是配额指标返回和重新申请，每个服务节点根据自身分配的指标值、处理速率做预测，如果计算结果表明指标会有剩余，则把多余的返还服务注册中心；对于配额已经使用完的服务节点，重新主动去服务注册中心申请配额，如果连续N次都申请不到新的配额指标，则对于新接入的请求消息做流控。
最后一点就是结合负载均衡进行静态流控，才能够实现更精确的调度和控制。消费者根据各服务节点的负载情况做加权路由，性能差的节点路由到的消息更少，由于配额计算也根据负载做了加权调整，最终分配给性能差的节点配额指标也较少，这样既保证了系统的负载均衡，有实现了配额的更合理分配。

1.4 动态配额申请制

尽管动态配额分配制可以解决节点变化引起的流控不准问题，也能够改善平均主义配额分配导致的贫富不均，但是它并不是最优的方案，它的缺点总结如下：

• 如果流控周期T比较大，各个服务节点的负载情况变化比较快，服务节点的负载反馈到注册中心，由注册中心统一计算之后再做配额均衡，误差会比较大。
• 如果流控周期T比较小，服务注册中心需要实时获取各个服务节点的性能KPI数据并计算负载情况，经过性能数据采集、上报、汇总和计算之后，会有一定的时延，这会导致流控滞后产生误差。
• 如果采用配额返还和重新申请方式，则会增加交互次数，同时也会存在时序误差，效果有限。
• 扩展性差，负载的汇总、计算和配额分配、下发都由服务注册中心完成，如果服务注册中心管理的节点数非常多，则服务注册中心的计算压力就非常大了，随着服务节点数的增加服务注册中心的配额申请效率会急速下降，系统不具备平滑扩展能力。
  要解决上述问题，可以采用动态配额申请制，它的工作原理如下：
• 系统部署的时候，根据服务节点数和静态流控QPS阈值，拿出一定比例的配额做初始分配，剩余的配额放在配额资源池中。
• 哪个服务节点使用完了配额，就主动向服务注册中心申请配额。配额的申请策略是，如果流控周期为T，则将周期T分成更小的周期T/N(N为经验值，默认值为10)，当前的服务节点数为M个，则申请的配额为(总QPS配额-已分配的QPS配额)/M*T/N。
• 总的配额如果申请完，则返回0配额给各个申请配额的服务节点，服务节点对新接入的请求消息进行流控。
  动态配额申请制的优点：
• 各个服务节点最清楚自己的负载情况，性能KPI数据在本地内存中计算获得，实时性高。
• 由各个服务节点根据自身负载情况去申请配额，保证性能高的节点有更高的配额，性能差的自然配额就少，这样能够更合理地配额资源，实现流控的精确性。
  实践经验表明，采用动态配额申请制的静态流控更精确，在实战中效果也更好。

2. 动态流控

动态流控的最终目标是为了保命，并不是对流量或者访问速度做精确控制。当系统负载压力非常大时，系统进入过负载状态，可能是CPU、内存资源已经过载，也可能是应用进程内部的资源几乎耗尽，如果继续全量处理业务，可能会导致长时间的Full GC、消息严重积压或者应用进程宕机，最终将压力转移到集群其他节点，引起级联故障。
触发动态流控的因子是资源，资源又分为系统资源和应用资源两大类，根据不同的资源负载情况，动态流控又分为多个级别，每个级别流控系统都不同，也就是被拒绝掉的消息比例不同。每个级别都有相应的流控阈值，这个阈值通常支持在线动态调整。

2.1 动态流控因子

动态流控因子包括系统资源和应用资源两大类，常用的系统资源包括：

• 应用进程所在主机/VM的CPU使用率。
• 应用进程所在主机/VM的内存使用率。
  主机CPU、内存使用率采集算法非常多，例如使用java.lang.Process执行top、sar等外部命令获取系统资源使用情况，然后解析后计算获得资源使用率。也可以直接读取操作系统的系统文件获取相关数据，需要注意的是，无论是执行操作系统的本地命令，还是直接读取操作系统的资源使用率文件，都是操作系统本地相关的，不同的操作系统和服务器，命令和输出格式可能存在很大差异。在计算时需要首先判断操作系统类型，然后调用相关操作系统的资源采集接口实现类，通过这种方式就可以支持跨平台。
  常用的应用资源包括：
• JVM堆内存使用率。
• 消息队列积压率。
• 会话积压率（可选）。
  具体实现策略是系统启动时拉起一个管理线程，定时采集应用资源的使用率，并刷新动态流控的应用资源阈值。

2.2 分级流控

通常，动态流控是分级别的，不同级别拒掉的消息比例不同，这取决于资源的负载使用情况。例如当发生一级流控时，拒绝掉1/8的消息；发生二级流控时，拒绝掉1/4的消息。
不同的级别有不同的流控阈值，系统上线后提供默认的流控阈值，不同流控因子的流控阈值不同，业务上线之后通常会根据现场的实际情况做阈值调优，因此流控阈值需要支持在线修改和动态生效。
需要指出的是为了防止系统波动导致的偶发性流控，无论是进入流控状态还是从流控状态恢复，都需要连续采集N次并计算平均值，如果连续N次平均值大于流控阈值，则进入流控状态；同理，只有连续N次资源使用率平均值低于流控阈值，才能脱离流控状态恢复正常。
根据资源使用率的变化，流控会发生升级或者降级，在同一个流控周期内，不会发生流控级别的跳变。

3. 并发控制

并发控制针对线程的并发执行数进行控制，它的本质是限制对某个服务或者服务的方法过渡消费，耗用过多的资源而影响其他服务的正常运行。
并发控制有两种形式：

• 针对服务提供者的全局控制。
• 针对服务消费者的局部控制。

4. 连接控制

通常分布式服务框架服务提供者和消费者之间采用长连接私有协议，为了防止因为消费者连接数过多导致服务端负载压力过大，系统需要支持针对连接数进行控制。

5. 并发和连接控制算法

基于服务调用Pipeline机制，可以对请求消息接收和发送、应答消息接收和发送、异常消息等切面拦截（类似Sprint的AOP机制，但是没采用反射机制，性能更高），利用Pipeline拦截切面接口，对请求消息做服务调用前的拦截和计数，根据计数器做流控，服务端的算法如下：

• 获取流控阈值。
• 从全局RPC上下文中获取当前的并发执行数，与流控阈值对比，如果小于流控阈值，则对当前的计数器做原子自增。
• 如果等于或者大于流控阈值，则抛出RPC流控异常给客户端。
• 服务调用执行完成之后，获取RPC上下文中的并发执行数，做原子自减。
  客户端的流控算法与服务端的不太一样，客户端的流控目的就是要降低对服务端的冲击，因此当客户端达到流控阈值之后，需要将当前的线程挂起，等待其他线程执行完毕后再执行，或者超时，它的算法如下：
• 获取流控阈值。
• 从全局RPC上下文中获取当前的并发执行数，与流控阈值对比，如果小于流控阈值，则对当前的计数器做原子自增。
• 如果等于或者大于流控阈值，当前线程进入wait状态，wait超时时间为服务调用的超时时间。
• 如果有其他线程服务调用完成，调用计数器自减，则并发执行数大于阈值，线程被notify，则退出wait，继续执行。

6. 总结

流量控制是保障服务SLA的重要措施，也是业务高峰期故障预防和恢复的有效手段，分布式服务框架需要支持不同的流控策略，还要支持流控阈值、策略的在线调整，不需要重启应用即可动态生效，提升线上服务治理的效率和敏捷性。