Spring Cloud 整合 Sentinel 限流熔断降级热点等功能实现

Spring Cloud 整合 Sentinel 限流熔断降级热点等功能实现

Sentinel (分布式系统的流量防卫兵) 是阿里开源的一套用于服务容错的综合性解决方案。它以流量为切入点, 从流量控制、熔断降级、系统负载保护等多个维度来保护服务的稳定性。

安装 Sentinel 服务

Win 环境

• 打开 Sentinel 下载地址：

  https://github.com/alibaba/Sentinel/releases/tag/1.8.2

  目前 Sentinel 最新版本是 1.8.2，若不放心稳定性可选择较为成熟的 1.8.0 或 1.8.1版本来使用。

  直接下载下面的 sentinel-dashboard-1.8.2.jar 即可。

• 在解压的 Sentinel 对应目录下，打开命令提示符 cmd，启动运行 sentinel 服务：

  java -Dserver.port=8180 -Dcsp.sentinel.dashboard.server=localhost:8180 -Dproject.name=sentinel-dashboard -jar sentinel-dashboard-1.8.2.jar
  

• 启动以后有 Spring Boot 的大图标显示即为成功。

访问 Sentinal 服务

若 Sentinal 启动ok，通过浏览器进行访问测试 http://localhost:8180/#/login
如图所示：

Sentinel 的默认用户名密码均为 Sentinel，登录后如下图所示：

Sentinel 限流

我们系统中的数据库连接池，线程池，nginx的瞬时并发等在使用时都会给定一个限定的值，这本身就是一种限流的设计。限流的目的防止恶意请求流量、恶意攻击，或者防止流量超过系统峰值。

Sentinel 应用于服务提供方 (sca-provider)，在消费方添加依赖如下：

<dependency>
    <groupId>com.alibaba.cloudgroupId>
    <artifactId>spring-cloud-starter-alibaba-sentinelartifactId>
dependency>

打开服务消费方配置文件 bootstrap.yml，添加 sentinel 配置，代码如下：

spring:
  cloud:
    sentinel:
      transport:
         dashboard: localhost:8180 # 指定sentinel控制台地址。

创建一个用于演示限流操作的 Controller 对象，例如：

package com.jt.provider.controller;

import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

@RestController
@RequestMapping("/provider")
public class ProviderSentinelController {
       @GetMapping("/sentinel01")
       public String doSentinel01(){
           return "sentinel 01 test  ...";
       }
}

启动sca-provider服务，然后对指定服务进行访问，如图所示：
http://localhost:8083/provider/sentinel01

刷新sentinel 控制台，实时监控信息，如图所示：

Sentinel 限流实践

我们可以设置一下指定接口的流控(流量控制)，QPS（每秒请求次数）单机阈值为1，代表每秒请求不能超出1次，要不然就做限流处理，处理方式直接调用失败。

第一步：选择要限流的链路，如图所示：

第二步：设置限流策略，如图所示：

QPS 代表每秒请求数，后面的单机阈值表示每秒允许的最大请求次数。

第三步：反复刷新访问消费端端服务，检测是否有限流信息输出，如图所示：
若有 Blocked by Sentinel （flow limiting） 字样表示该服务已被流控规则限制。

设置限流模式

Sentinel的流控模式代表的流控的方式，默认【直接】，还有关联，链路。

直接模式
Sentinel默认的流控处理就是【直接->快速失败】。

关联模式

当关联的资源达到阈值，就限流自己。
例如设置了关联资源为 /ur2 时，假如关联资源/url2 的 QPS 阀值超过 1 时，就限流 /url1接口

• 第一步：在ProviderSentinelController中添加一个方法，例如：

   @GetMapping("/sentinel02")
   public String doSentinel02(){
     return "sentinel 02 test  ...";
   }

• 第二步：在 sentinel 中做限流设计，例如:

这里的限流规则就是：
当关联资源 sentinel02 访问次数超过了限定的阈值 1 时，就会限流 sentinel01 服务。

• 第三步：
• 打开两个测试窗口，对/provider/sentinel02进行访问，检查/provider/sentinel01的状态,例如:

当不断刷新 sentinel02 时，再回去刷新一下 sentinel01，会发现 01 被限流了。

链路模式

链路模式只记录指定链路入口的流量。
当多个服务对指定资源调用时，假如流量超出了指定阈值，则进行限流。
被调用的方法用@SentinelResource进行注解，然后分别用不同业务方法对此业务进行调用，现在对链路模式做一个实践，例如：

第一步：在指定包创建一个ResourceService类，代码如下：

package com.jt.service;
@Service
public class ResourceService{
    @SentinelResource("doGetResource")
    public String doGetResource(){
        return "doGetResource";
    }
}

第二步：在ProviderSentinelController中添加一个方法，例如：

    @Autowired
    private ResourceService resourceService;
    @GetMapping("/sentinel03")
    public String doSentinel03() throws InterruptedException {
        resourceService.doGetResource();
        return "sentinel 03 test";
    }

第三步：在 sentinel 中配置限流规则，例如：

其中的 sentinel_spring_web_context 就是所谓的入口。

设置链路流控规则后，再频繁对限流链路进行访问，检测是否会出现500异常，例如：

说明：
流控模式为链路模式时，假如是sentinel 1.7.2以后版本，Sentinel Web 过滤器默认会聚合所有URL的入口为sentinel_spring_web_context。
因此单独对指定链路限流会不生效，需要在 application.yml 添加如下语句来关闭 URL PATH 聚合。

例如：

sentinel:
     web-context-unify: false

我们也可以基于 @SentinelResource 注解描述的方法进行限流后的异常进行自定义处理。
其步骤如下：

• 首先定义 blockHandlerClass 类来自定义报错信息，例如：

package com.jt.service;

import com.alibaba.csp.sentinel.slots.block.BlockException;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;
@Slf4j
@Component
public class ResourceBlockHandler {
    /**
     * 注意此方法中的异常类型必须为BlockException (
     * 它是所有限流,降级等异常的父类类型),方法的返回
     * 值类型为@SentinelResource注解描述的返回值类型,
     * 方法的其他参数为@SentinelResource注解描述的方法参数,
     * 并且此方法必须为静态方法
     * @param ex
     * @return
     */
    public static String call(BlockException ex){
        log.error("block exception {}", ex.getMessage());
        return "你访问的太频繁了,能不能歇一会？";
    }
}

• 第二步：修改 @SentinelResource 注解中的属性定义，例如：

@SentinelResource(value="doGetResource",
        blockHandlerClass = ResourceBlockHandler.class,
        blockHandler = "call")
public String doGetResource(){
    return "do get resource";
}

• 第三步：在controller方法中，调用 @Sentinel 注解描述的方法，例如：

/**
 * 演示链路限流
 * @return
 */
@GetMapping("/sentinel03")
public String doSentinel03(){
   return resourceService.doGetResource();
   //return "sentinel 03 test";
}

启动测试结果如下：

Sentinel 降级

Sentinel 熔断降级会在调用链路中某个资源出现不稳定状态时（例如调用超时或异常比例升高），对这个资源的调用进行限制，让请求快速失败，避免影响到其它的资源而导致级联错误。
当资源被降级后，在接下来的降级时间窗口之内，对该资源的调用都自动熔断。

在 ProviderController 类中添加 doSentinel04 方法。
基于此方法演示慢调用过程下的限流，代码如下：

     //AtomicLong 类支持线程安全的自增自减操作
    private AtomicLong atomicLong=new AtomicLong(1);
    @GetMapping("/sentinel04")
    public  String doSentinel04() throws InterruptedException {
        //获取自增对象的值,然后再加1
        long num=atomicLong.getAndIncrement();
        if(num%2==0){//模拟50%的慢调用比例
           Thread.sleep(200);
        }
        return "sentinel 04 test";
    }

说明，我们在此方法中设置休眠 200ms，目的是为了演示慢调用 (响应时间比较长)。

Sentinel 降级实践

首先基于一个请求链路，进行服务降级及应用实践，例如：

• 第一步：服务启动后，选择要降级的链路，如图所示：

这里的熔断策略选用 慢调用比例。
最大 RT 代表平均响应时间，我们设为 200ms。
比例阈值为超过 最大 RT 的请求比例。

这个熔断规则的意思就是，在总请求数超过 3 时，若平均响应时间超过 200ms 的有 30%，则对请求进行熔断，熔断时长为 10 秒钟，10 秒以后恢复正常。

之前设置的 sentinel04 方法中，设置了线程安全的自增对象，并以 50% 的概率进入 200ms 的休眠来模拟慢调用。

启动之后，短时间内多刷新几次以后，结果如下：

Sentinel 异常处理

系统提供了默认的异常处理机制，假如默认处理机制不满足我们需求，我们可以自己进行定义。定义方式上可以直接或间接实现 BlockExceptionHandler 接口，并将对象交给 spring 管理。

package com.jt.provider.controller;

import com.alibaba.csp.sentinel.adapter.spring.webmvc.callback.BlockExceptionHandler;
import com.alibaba.csp.sentinel.slots.block.BlockException;
import com.fasterxml.jackson.databind.ObjectMapper;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;

import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import java.io.PrintWriter;
import java.util.HashMap;
import java.util.Map;

/**
 * 自定义限流,降级等异常处理对象
 */
@Slf4j
@Component
public class ServiceBlockExceptionHandler
     implements BlockExceptionHandler {
    /**
     * 用于处理BlockException类型以及子类类型异常
     */
    @Override
    public void handle(HttpServletRequest request,
                       HttpServletResponse response,
                       BlockException e) throws Exception {
        //设置响应数据编码
        response.setCharacterEncoding("utf-8");
        //告诉客户端响应数据的类型,以及客户端显示内容的编码
        response.setContentType("text/html;charset=utf-8");
        //向客户端响应一个json格式的字符串
        //String str="{\"status\":429,\"message\":\"访问太频繁了\"}";
        Map<String,Object> map=new HashMap<>();
        map.put("status", 444);
        map.put("message","访问太频繁了");
        String jsonStr=new ObjectMapper().writeValueAsString(map);
        PrintWriter out = response.getWriter();
        out.print(jsonStr);
        out.flush();
        out.close();
    }
}

Sentinel热点规则分析

热点参数限流会统计传入参数中的热点数据，并根据配置的限流阈值与模式，对包含热点参数的资源调用进行限流。
热点参数限流可以看做是一种特殊的流量控制，仅对包含热点参数的资源调用生效。
Sentinel 会利用 LRU 策略统计最近最常访问的热点参数，结合令牌桶算法来进行参数级别的流控。

Sentinel 热点规则实践

第一步：在 sca-provider 中添加如下方法，例如：

        @GetMapping("/sentinel/findById")
        @SentinelResource("resource")
        public String doFindById(@RequestParam("id") Integer id){
            return "resource id is "+id;
        }

第二步：服务启动后，选择要限流的热点链路，如图所示：

第三步：设置要限流的热点，如图所示：

热点规则的限流模式只有QPS模式（这才叫热点）。
参数索引为 @SentinelResource 注解的方法参数下标，0代表第一个参数，1代表第二个参数。
单机阈值以及统计窗口时长表示在此窗口时间超过阈值就限流。

第四步：多次访问热点参数方法，前端会出现如下界面，如图所示：

然后，在后台出现如下异常表示限流成功：

其中，热点参数其实说白了就是特殊的流控，流控设置是针对整个请求的；但是热点参数他可以设置到具体哪个参数，甚至参数针对的值，这样更灵活的进行流控管理。

特殊参数设计

配置参数例外项，如图所示：

其中，这里表示参数值为 233 时阈值为 100，其它参数值阈值为 1
这时当你设定参数为 233 时，无论点多少次都不会被限流。

Sentinel 系统规则（保护）

系统在生产环境运行过程中，我们经常需要监控服务器的状态，看服务器CPU、内存、IO等的使用率；主要目的就是保证服务器正常的运行，不能被某些应用搞崩溃了；而且在保证稳定的前提下，保持系统的最大吞吐量。

Sentinel的系统保护规则是从应用级别的入口流量进行控制，从单台机器的总体 Load（负载）、RT（响应时间）、入口 QPS 、线程数和CPU使用率五个维度监控应用数据，让系统尽可能跑在最大吞吐量的同时保证系统整体的稳定性。如图所示：

系统规则是一种全局设计规则：

• Load（仅对 Linux/Unix-like 机器生效）：当系统 load1 超过阈值，且系统当前的并发线程数超过系统容量时才会触发系统保护。系统容量由系统的 maxQps * minRt 计算得出。设定参考值一般是 CPU cores * 2.5。
• CPU使用率：当系统 CPU 使用率超过阈值即触发系统保护（取值范围 0.0-1.0）。
• RT：当单台机器上所有入口流量的平均 RT 达到阈值即触发系统保护，单位是毫秒。
• 线程数：当单台机器上所有入口流量的并发线程数达到阈值即触发系统保护。
• 入口 QPS：当单台机器上所有入口流量的 QPS 达到阈值即触发系统保护。

说明，系统保护规则是应用整体维度的，而不是资源维度的，并且仅对入口流量生效。入口流量指的是进入应用的流量（EntryType.IN），比如 Web 服务。

Sentinel 授权规则

根据调用方来限制资源是否通过，这时候可以使用 Sentinel 的黑白名单控制的功能。
若配置白名单则只有请求来源位于白名单内时才可通过；
若配置黑名单则请求来源位于黑名单时不通过，其余的请求通过。

Sentinel 可以基于黑白名单方式进行授权规则设计，如图所示：

黑白名单规则（AuthorityRule）有以下配置项：

• 资源名：即限流规则的作用对象。
• 流控应用：对应的黑名单/白名单中设置的规则值，多个值用逗号隔开。
• 授权类型：白名单，黑名单(不允许访问)。

案例实现 1

定义请求解析器，用于对请求进行解析，并返回解析结果。
Sentinel 底层在拦截到请求后，会基于此对象对请求数据进行解析，判定是否符合黑白名单规则。

第一步：定义 RequestOriginParser 接口的实现类，在接口方法中解析请求参数数据并返回，底层会基于此返回值进行授权规则应用。

@Component
public class DefaultRequestOriginParser implements RequestOriginParser {
    @Override
    public String parseOrigin(HttpServletRequest request) {
        String origin = request.getParameter("origin");//这里的参数名会与请求中的参数名一致
        return origin;
    }
}

第二步：定义流控规则，如图所示：

第三步：执行资源访问，检测授权规则应用，当我们配置的流控应用值为 app1 时，假如规则为黑名单，则基于 http://localhost:8083/provider/sentinel01?origin=app1 的请求不通过，其请求处理流程如图下：

1. 当客户端发起上面的请求时，这个请求会被 Sentinel 拦截器进行拦截，拦截器会调用 RequestOriginParser 对象的 parseOrigin 方法对请求进行解析。
2. 发请求时你传递的参数是什么，getParameter 后面就要写什么。
   
3. parseOrigin 方法里的代码如何写是由业务决定的，可以基于请求对象获取 http 请求行，请求头或者请求体中的数据。
4. 这里解析后返回的数据，会和 Sentinel 控制台（Dashboard）中定义的值（app1，app2）进行比对，最后基于黑白名单规则进行限制。

案例实现 2

尝试基于请求ip等方式进行黑白名单的规则设计，例如：

第一步: 修改请求解析器,获取请求 ip 并返回，例如：

@Component
public class DefaultRequestOriginParser  implements RequestOriginParser {
    //解析请求源数据
    @Override
    public String parseOrigin(HttpServletRequest request) {
        //获取访问请求中的ip地址,基于ip地址进行黑白名单设计（例如在流控应用栏写ip地址）
        String ip= request.getRemoteAddr();
        System.out.println("ip="+ip);
        return ip;
    }//授权规则中的黑白名单的值,来自此方法的返回值
}

第二步：在sentinel控制台定义授权规则，例如：

第三步：规则定义后以后，基于你的ip地址，进行访问测试，检测黑白名单效果。

拓展

常用的限流算法：计数，令牌桶-电影票，漏桶-漏斗，滑动窗口