限流原理和实现

文章正文编辑

目录

• 代理层限流

• 容器限流

• API 限流

•       时间窗口

•       漏桶算法

•      令牌桶算法

• 总结

为了保护暴露在公网上的应用或者服务免遭大流量的系统攻击以及避免由于营销活动等带来的瞬间流量洪峰导致超出系统承载能力而崩溃，很多应用或者服务通常都配置了缓存、限流或者服务降级等手段，当异常状况出现时，通过牺牲部分可用性达到系统整体功能不会严重受损。另外一些开放平台由于安全等因素，对一些接口的调用频率也做了限制，其实这也可以看做限流。本文按照请求从前端到后端的经流顺序，着重讨论常用的限流场景及其应对方案。

代理层限流

Nginx 常用于服务器反向代理，达到实现负载均衡和保护后端的应用服务器的目的。Nginx 主要通过限制访问频率和并发连接数两种方式达到限制目的，Nginx 配置文件支持丰富的配置命令，比如下面一种配置示例：

比如 limit_req_zone 的命令含义是对限制的对象（如 URL 地址、服务器地址和客户端 IP 地址等）设置最大访问速率，zone 部分定义了共享内存区的名称和大小。

limit_conn 可以对指定的 IP 甚至是所在服务主机限制并发连接数量。

容器限流

前端请求经过代理转发到后端 Web 容器比如 Tomcat 之后，我们可以通过自定义线程池，配置最大连接数，请求处理队列等参数来达到限流的目的。Tomcat 限流配置示意如下图：

这里配置了一个在 8080 端口监听的 Connector，并且配置了处理请求能支持的最大和最小线程数量分别为 500 和 100，通过 acceptCount 指定当请求达到最大线程使用上限时候，能够进入队列排队的请求数量。

API 限流

当请求经过容器递交给应用程序接口处理之后，就可以根据需求实现带有任何业务逻辑的限流功能，这也是我们施展空间最大的地方，可以应用前端通用框架采用的限流原理和思路。这里常用的使用限流算法有基于时间窗口的限流、漏桶算法和令牌桶算法。比如 Nginx 就采用基于漏桶的限流算法。

时间窗口

基于时间窗口限流的方式有两种，分别是固定时间窗口和滑动时间窗口，固定时间窗口可以看做滑动窗口的一个特列。

1. 固定时间窗口

固定时间窗口也叫计数器限流法，是最简单也是最容易实现的限流策略，其原理是每个固定时间间隔的时间段都有独立的访问请求计数器，任意一个计数器达到设定的阈值就拒绝服务。

比如某服务限制每分钟调用次数不超过 100，固定时间窗口沿着时间轴方向分割为多个以 60 秒为单位的时间片段，当时间超过当前时间片段的右边沿，下一个时间片段被“激活”，重新开始计数。因为实际场景只考虑当前时间片段的窗口，所以历史时间片段窗口可以忽略。

基于固定时间窗口用程序实现逻辑可以描述为先定义一个窗口大小（如 60 秒）和请求阈值（如每分钟 100 次）的类，每个请求到来时候都判断当前时间戳是否在当前时间窗口（比较当前时间戳和计时开始时刻与窗口大小之和的大小）：如果在当前窗口内，计数器累计一次；否则重置计数器和计时开始时刻。程序示例代码如下：

主要代码就是：

        long currTimeMills = System.currentTimeMillis();
        if (currTimeMills > markTimeMills + windowSize) {
            markTimeMills = System.currentTimeMillis();
            count.set(0);
        }
        int total=count.incrementAndGet();

用当前时间和标记计时开始时间和窗口大小之和比较，如果当前时间越过当前窗口，则重新计数。否则当前计数递增。计数器这里使用原子计数器，如果单线程，是否是原子是非必须的。完整的代码为：

import java.util.concurrent.atomic.AtomicInteger;

public class FixedWindowRateLimiter {
    //计时开始时刻
    long markTimeMills = System.currentTimeMillis();
    //窗口大小 60 秒
    long windowSize = 60 * 1000;
    AtomicInteger count=new AtomicInteger(0);

    //请求限制阈值，如每分钟不超过 100
    int threshold;

    public FixedWindowRateLimiter(long windowSize,int threshold) {
        this.windowSize = windowSize;
        this.threshold=threshold;
    }

    public boolean request() {
        long currTimeMills = System.currentTimeMillis();
        if (currTimeMills > markTimeMills + windowSize) {
            markTimeMills = System.currentTimeMillis();
            count.set(0);
        }
        int total=count.incrementAndGet();
        if(total>threshold)
            return false;
        return true;
    }

    public static void main(String args[]) {
        FixedWindowRateLimiter fixedWindowRateLimiter = new FixedWindowRateLimiter(60 * 1000,100);
        fixedWindowRateLimiter.request();
    }
}

2. 滑动时间窗口