JavaEE企业级实战项目 智牛股第二天 CAT链路监控和Sentinel
交易平台 - Day 2
学习目标
目标1： CAT链路监控简介与原理
目标2： CAT搭建配置与使用
目标3： Sentinel简介与原理
目标4： Sentinel配置与使用
第1章 CAT链路监控
1. 目标
- 了解CAT链路监控平台
- 了解CAT链路监控机制与基本原理
2. 分析
- 背景
- 简介
- 优势
- 功能报表
- Google Dapper分布式跟踪系统理论
- Dapper部署架构
- 链路监控机制
- CAT的架构设计
3. 讲解
3.1 背景
从单体架构到微服务架构的演变， 一个业务请求往往会流转多个服务， 大型互联网产品服务架构尤为复杂，腾讯的抢红包服务， 阿里的交易支付服务， 可能就流转成百上千个服务节点， 面对众多服务， 如何监控管理？ 服务请求一旦出现问题， 如何快速定位问题？ 如何保障服务的高可用， 做到全面的监控与预警？ 如何分析统计服务的运行状况？ 看下链路监控产品如何解决这些问题。
3.2 CAT简介
- CAT 是基于 Java 开发的实时应用监控平台，为美团点评提供了全面的实时监控告警服务。
- CAT 作为服务端项目基础组件，提供了 Java, C/C++, Node.js, Python, Go 等多语言客户端，已经在美团点评的基础架构中间件框架（MVC框架，RPC框架，数据库框架，缓存框架等，消息队列，配置系统等）深度集成，为美团点评各业务线提供系统丰富的性能指标、健康状况、实时告警等。
- CAT 很大的优势是它是一个实时系统，CAT 大部分系统是分钟级统计，但是从数据生成到服务端处理结束是秒级别，秒级定义是48分钟40秒，基本上看到48分钟38秒数据，整体报表的统计粒度是分钟级；第二个优势，监控数据是全量统计，客户端预计算；链路数据是采样计算。
3.3 CAT优势
- 实时处理：信息的价值会随时间锐减，尤其是事故处理过程中。
- 全量数据：全量采集指标数据，便于深度分析故障案例。
- 高可用：故障的还原与问题定位，需要高可用监控来支撑。
- 故障容忍：故障不影响业务正常运转、对业务透明。
- 高吞吐：海量监控数据的收集，需要高吞吐能力做保证。
- 可扩展：支持分布式、跨 IDC 部署，横向扩展的监控系统。
- 报表丰富： 帮助管理人员从各个角度了解系统的整体状况。
3.4 CAT报表
-
报错统计报表
-
业务统计报表
-
LOGVIEW统计
-
可视化LOGVIEW
-
应用类型报表
|报表名称|报表用途|
|------------|------------|
|Transaction实时报表|一段代码的运行时间/次数/分布、比如URL/Cache/SQL执行次数和响应时间|
|Event实时报表 |事件产生的次数/分布，比如出现一个异常|
|Problem实时报表 |根据Transaction/Event数据分析出来的系统出现的异常，包括访问较慢的程序等|
|Heartbeat实时报表 |JVM内部一些状态信息，Load/Memory/GC/Thread等|
|Metric实时报表 |业务指标采集监控报表|
|Matrix实时报表|一个请求调用分布统计(一次请求中调用多少次SQL/RPC/Cache等)，可评估应用设计的合理性|
|…|…|
3.5 Google Dapper论文
3.6 Dapper Deployment
3.7 链路监控工作机制
3.8 CAT架构设计
整体设计
简单即是最好原则设计， 主要分为三个模块cat-client，cat-consumer，cat-home。
- cat-client 提供给业务以及中间层埋点的底层sdk。
- cat-consumer 用于实时分析从客户端的提供的数据。
- cat-home 作为提供给用户的展示的控制端。
客户端设计
客户端设计是CAT系统设计中最为核心的一个环节，客户端要求是做到API简单、高可靠性能、无论在任何场景下客户端都不能影响各业务服务的性能（监控只是公司核心业务流程一个旁路环节）。
服务端设计
服务端单机cat-consumer的整体架构：
当某个报表处理器处理来不及时候，比如Transaction报表处理比较慢，可以通过配置支持开启多个Transaction处理线程，并发消费消息。
4. 总结
- CAT功能作用， 特点优势
- CAT的统计报表，功能作用
- Google Dapper分布式链路监控理论基础， 部署结构。
- 链路的监控机制， 如何运作， 如何跟踪。
- CAT的架构设计，特征， 核心模块，处理流程。
第2章 CAT安装使用
1. 目标
- 安装与配置CAT服务
- CAT的接入使用， 查看链路跟踪信息
2. 步骤
- 完成CAT单机部署
- 拓展CAT集群部署
- 服务设计
- 工程结构
- CAT集成事项
- 启动验证
3. 实现
3.1 CAT单机部署
环境要求
- JDK1.8+
- Tomcat8+
- MySQL5.7+
CAT启动配置
不建议在Windows下部署， 设计上对window支持不好， 容易出各种问题。
-
下载CAT源码, 如GIT方式过慢， 可用Download Zip 方式打包下载。
-
构建CAT服务war包
可以导入IDEA工程进行编译， 或者直接用MAVEN进行编译：
将MAVEN加入到系统PATH， 执行mvn命令：mvn clean install -Dmaven.test.skip=true -
创建数据库
先创建CAT数据库， 采用utf8mb4字符集， 再导入{CAT_SRC}/script/目录下的CatApplication.sql脚本。
-
配置修改
运行盘下的/data/appdatas/cat和/data/applogs/cat有读写权限， 如果程序是在E盘， 则需创建e:/data/appdatas/cat目录
-
配置/data/appdatas/cat/client.xml (客户端使用)
<config mode="client"> <servers> <server ip="127.0.0.1" port="2280" http-port="8080"/> servers> config> -
配置/data/appdatas/cat/datasources.xml (服务端使用)
-
TOMCAT配置
修改tomcat conf 目录下 server.xml， 检查好端口没有被其他程序占用。
如果内存不足， 需作调整(linux)
```sh
CATALINA_OPTS="-Xms1024m -Xmx2048m -Xss1024K -XX:MetaspaceSize=512m -XX:MaxMetaspaceSize=1024m"
- 启动
-
执行start.sh
-
打开控制台地址： http://10.10.20.10:8080/cat/s/config?op=routerConfigUpdate
-
默认用户名：admin 默认密码：admin
正常可以看到后台：
3.2 CAT集群部署
课程演示， 不作详细介绍， 具体可参考官方文档： CAT集群部署
3.3 服务设计
设计四个服务：网关服务、订单服务、账户服务和库存服务， 三层调用关系监控，
Gateway->Order->Account、Stock
3.4 工程结构
- cat-demo: 父级工程
- cat-demo-account: 账户服务工程
- cat-demo-gateway: 网关服务工程
- cat-demo-order: 订单服务工程
- cat-demo-stock: 库存服务工程
3.5 CAT集成事项
- cat-demo父级工程的POM依赖：
引用最新版本cat组件：
<dependencies>
<dependency>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-starter-webartifactId>
dependency>
<dependency>
<groupId>com.alibaba.cloudgroupId>
<artifactId>spring-cloud-starter-alibaba-nacos-discoveryartifactId>
dependency>
<dependency>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-starter-actuatorartifactId>
dependency>
<dependency>
<groupId>com.dianping.catgroupId>
<artifactId>cat-clientartifactId>
<version>3.0.0version>
dependency>
dependencies>
- 请求接收拦截器
拦截所有经过服务的请求， 为前置拦截器， 支持URL正则匹配
CatFilterConfigure 配置类：
@Configuration
public class CatFilterConfigure {
@Bean
public FilterRegistrationBean catFilter() {
FilterRegistrationBean registration = new FilterRegistrationBean();
CatServletFilter filter = new CatServletFilter();
registration.setFilter(filter);
registration.addUrlPatterns("/*");
registration.setName("cat-filter");
registration.setOrder(1);
return registration;
}
}
CatServletFilter实现类：
package com.itcast.cat.demo.gateway.catutils;
import com.dianping.cat.Cat;
import com.dianping.cat.CatConstants;
import com.dianping.cat.message.Message;
import com.dianping.cat.message.Transaction;
import javax.servlet.*;
import javax.servlet.http.HttpServletRequest;
import java.io.IOException;
public class CatServletFilter implements Filter {
private String[] urlPatterns = new String[0];
/**
* 初始化配置
* @param filterConfig
* @throws ServletException
*/
@Override
public void init(FilterConfig filterConfig) throws ServletException {
String patterns = filterConfig.getInitParameter("CatHttpModuleUrlPatterns");
if (patterns != null) {
patterns = patterns.trim();
urlPatterns = patterns.split(",");
for (int i = 0; i < urlPatterns.length; i++) {
urlPatterns[i] = urlPatterns[i].trim();
}
}
}
/**
* 请求过滤处理
* @param servletRequest
* @param servletResponse
* @param filterChain
* @throws IOException
* @throws ServletException
*/
@Override
public void doFilter(ServletRequest servletRequest, ServletResponse servletResponse, FilterChain filterChain) throws IOException, ServletException {
HttpServletRequest request = (HttpServletRequest) servletRequest;
String url = request.getRequestURL().toString();
for (String urlPattern : urlPatterns) {
if (url.startsWith(urlPattern)) {
url = urlPattern;
}
}
// cat 上下文信息设置
CatContext catContext = new CatContext();
catContext.addProperty(Cat.Context.ROOT, request.getHeader(CatHttpConstants.CAT_HTTP_HEADER_ROOT_MESSAGE_ID));
catContext.addProperty(Cat.Context.PARENT, request.getHeader(CatHttpConstants.CAT_HTTP_HEADER_PARENT_MESSAGE_ID));
catContext.addProperty(Cat.Context.CHILD, request.getHeader(CatHttpConstants.CAT_HTTP_HEADER_CHILD_MESSAGE_ID));
Cat.logRemoteCallServer(catContext);
Transaction t = Cat.newTransaction(CatConstants.TYPE_URL, url);
try {
// cat日志记录
Cat.logEvent("Service.method", request.getMethod(), Message.SUCCESS, request.getRequestURL().toString());
Cat.logEvent("Service.client", request.getRemoteHost());
filterChain.doFilter(servletRequest, servletResponse);
t.setStatus(Transaction.SUCCESS);
} catch (Exception ex) {
t.setStatus(ex);
Cat.logError(ex);
throw ex;
} finally {
t.complete();
}
}
}
-
RestTemplate请求拦截器
请求传递拦截器， 保存CAT调用链信息， 跟踪记录发送至外部服务的请求。
CatRestInterceptor
@Component
public class CatRestInterceptor implements ClientHttpRequestInterceptor {
@Override
public ClientHttpResponse intercept(HttpRequest request, byte[] body, ClientHttpRequestExecution execution)
throws IOException {
Transaction t = Cat.newTransaction(CatConstants.TYPE_CALL, request.getURI().toString());
try {
HttpHeaders headers = request.getHeaders();
// 保存和传递CAT调用链上下文
Context ctx = new CatContext();
Cat.logRemoteCallClient(ctx);
headers.add(CatHttpConstants.CAT_HTTP_HEADER_ROOT_MESSAGE_ID, ctx.getProperty(Context.ROOT));
headers.add(CatHttpConstants.CAT_HTTP_HEADER_PARENT_MESSAGE_ID, ctx.getProperty(Context.PARENT));
headers.add(CatHttpConstants.CAT_HTTP_HEADER_CHILD_MESSAGE_ID, ctx.getProperty(Context.CHILD));
// 继续执行请求
ClientHttpResponse response = execution.execute(request, body);
t.setStatus(Transaction.SUCCESS);
return response;
} catch (Exception e) {
Cat.getProducer().logError(e);
t.setStatus(e);
throw e;
} finally {
t.complete();
}
}
}
注意， RestTemplate的初始化配置:
@Bean
RestTemplate restTemplate() {
RestTemplate restTemplate = new RestTemplate();
// 保存和传递调用链上下文
restTemplate.setInterceptors(Collections.singletonList(new CatRestInterceptor()));
return restTemplate;
}
- 注意
- resources资源目录， 路径META-INF下， 必须创建app.properties， 内部只要配置app.name属性。
- 3.0版本后， client的配置抽离， 写在/data/appdatas/cat目录下的client.xml文件
<config xmlns:xsi="http://www.w3.org/2001/XMLSchema" xsi:noNamespaceSchemaLocation="config.xsd">
<servers>
<server ip="10.10.20.10" port="2280" http-port="8080" />
servers>
config>
服务最好要在Linux下运行， 源码没有正确识别windows盘符， 会有问题。
3.6 启动验证
-
Nacos控制台
四个服务正常启动注册。注意： 这里打包时候Nacos指向地址为宿主机的HOST地址
-
访问Gateway服务， 本示例是部署在Linux机器上， 地址： http://10.10.20.10:8081/gateway
所有服务均正常返回结果：
gateway service ==> Calling order service[order success] ==> Calling Account Service [account success] ==> Calling Customer Service [stock success]
- CAT控制台
CAT的LOGVIEW按层级完整的记录了四个服务的请求信息， 1至4分别对应Gateway、Order、Account和Stock服务。
LOGVIEW主要包含请求时间， 服务地址， 请求客户端等主要信息， 也支持图形方式呈现：
CAT 还有很多指标统计与报表展示， 能有效帮助我们监控管理整体微服务调用链路状态。
4. 总结
- CAT的单机部署， 虚拟机下， 注意绑定的IP， TOMCAT下注意采用UTF8编码， 防止乱码， 如本机内存有限， 可以将CAT占用内存调小些。
- 了解整体服务结构设计， 接入CAT使用验证， 查看链路跟踪信息。
- 掌握LOGVIEW的关键信息， 服务地址， 客户端信息， 请求耗时等。
第3章 Sentinel介绍
1. 目标
- 了解Sentinel组件
- 了解Sentinel的工作原理， 功能特性与处理机制。
2. 分析
- 背景介绍
- Sentinel 历史
- 流量控制
- 熔断降级
- 主要特性
- 开源生态
- 工作原理
3. 讲解
3.1 背景
微服务架构设计由众多微服务组成，为保障高可用，通常会采用集群方式部署。由于服务自身原因或网络等其他问题，并不能保证100%可用性， 若单个服务出现问题， 会导致进入该服务的线程阻塞， 如果大量请求， 服务可能瘫痪， 服务与服务之间的依赖性， 故障会传播， 产生雪崩效应， 为解决和规避此问题， 业界提出熔断器模型， 衍生出了Sentinel，Hystrix和Resilience4j等组件。
Sentinel地址
3.2 Sentinel历史
- 2012 年Sentinel推出， 主要功能作为流量控制组件。
- 2013-2017 年，Sentinel 在阿里巴巴集团内部迅速推广使用，成为基础技术模块，覆盖了所有的核心场景。Sentinel 也因此积累了大量的流量归整场景以及生产实践。
- 2018 年，Sentinel 开源。
3.3 流量控制
流量控制在网络传输中是一个常用的概念，它用于调整网络包的发送数据。然而，从系统稳定性角度考虑，在处理请求的速度上，也有非常多的讲究。任意时间到来的请求往往是随机不可控的，而系统的处理能力是有限的。我们需要根据系统的处理能力对流量进行控制。Sentinel 作为一个调配器，可以根据需要把随机的请求调整成合适的形状。
3.4 熔断降级
与Hystrix熔断理念一致， 主要控制调用链中的不稳定资源， 针对这些不同场景进行限制， 避免影响整体系统的稳定性， 防止出现穿透、雪崩等灾难性问题。
在熔断实现上， Sentinel与Hystrix存在较大差异：
- Hystrix 是通过线程池隔离， 增加线程切换开销，侵入性较强， 且异步方式，不便主线程控制处理。
- Sentinel 前置处理， 限制请求线程并发数量来控制， 这样避免线程切换开销，侵入性低。
- Sentinel 还可以针对响应时间对资源进行降级， 当某个资源出现响应时间过长， 所有对该资源的访问都会被拒绝， 直到配置的指定时间窗口之后才重新恢复访问。
3.5 主要特性视图
3.6 开源生态
3.7 工作原理
框架设计
设计说明
在 Sentinel 里面，所有的资源都对应一个资源名称以及一个 Entry。Entry 可以通过对主流框架的适配自动创建，也可以通过注解的方式或调用 API 显式创建；每一个 Entry 创建的时候，同时也会创建一系列功能插槽（slot chain）。这些插槽有不同的职责，例如:
- NodeSelectorSlot 负责收集资源的路径，并将这些资源的调用路径，以树状结构存储起来，用于根据调用路径来限流降级；
- ClusterBuilderSlot 则用于存储资源的统计信息以及调用者信息，例如该资源的 RT, QPS, thread count 等等，这些信息将用作为多维度限流，降级的依据；
- StatisticSlot 则用于记录、统计不同纬度的 runtime 指标监控信息；
- FlowSlot 则用于根据预设的限流规则以及前面 slot 统计的状态，来进行流量控制；
- AuthoritySlot 则根据配置的黑白名单和调用来源信息，来做黑白名单控制；
- DegradeSlot 则通过统计信息以及预设的规则，来做熔断降级；
- SystemSlot 则通过系统的状态，例如 load1 等，来控制总的入口流量；
扩展机制
Sentinel 将 SlotChainBuilder 作为 SPI 接口进行扩展，使得 Slot Chain 具备了扩展的能力。您可以自行加入自定义的 slot 并编排 slot 间的顺序，从而可以给 Sentinel 添加自定义的功能。
4. 总结
- 了解Sentinel的基本知识与功能作用。
- 了解Sentinel的功能特性， 相比其他熔断限流组件， 有哪些特点。
- 了解Sentinel的工作原理， 请求处理流程， 帮助我们更好的配置与排查实际问题。
第4章 Sentinel使用
1. 目标
- Sentinel的接入使用
- 掌握Sentinel控制台的管理使用
2. 步骤
- Dashboard控制台安装使用
- Sentinel降级配置演示
- Sentinel限流配置演示
3. 实现
3.1 Dashboard控制台
Sentinel 控制台包含功能:
- 查看机器列表以及健康情况：收集 Sentinel 客户端发送的心跳包，用于判断机器是否在线。
- 监控 (单机和集群聚合)：通过 Sentinel 客户端暴露的监控 API，定期拉取并且聚合应用监控信息，最终可以实现秒级的实时监控。
- 规则管理和推送：统一管理推送规则。
- 鉴权 ：生产环境中鉴权非常重要。这里每个开发者需要根据自己的实际情况进行定制。
从GitHub下载地址下载最新版本。
启动命令， 配置启动端口：
java -Dserver.port=8090 -Dcsp.sentinel.dashboard.server=localhost:8090 -jar sentinel-dashboard-1.6.2.jar
访问地址：http://127.0.0.1:8090/#/dashboard
默认登陆账号与密码都是sentinel，也可以通过启动参数修改：
-Dsentinel.dashboard.auth.username=sentinel
-Dsentinel.dashboard.auth.password=123456
3.2 降级演示
-
平均响应时间演示
当资源的平均响应时间超过阈值（DegradeRule 中的 count，以 ms 为单位）之后，资源进入准降级状态。如果接下来 1s 内持续进入 5 个请求（即 QPS >= 5），它们的 RT 都持续超过这个阈值，那么在接下的时间窗口（DegradeRule 中的 timeWindow，以 s 为单位）之内，对这个方法的调用都会自动地熔断（抛出 DegradeException）。注意 Sentinel 默认统计的 RT 上限是 4900 ms，超出此阈值的都会算作 4900 ms，若需要变更此上限可以通过启动配置项 -Dcsp.sentinel.statistic.max.rt=xxx 来配置。- 引用RtDegradeDemo示例
- 集成Dashboard控制台
POM文件加入依赖：
<dependency> <groupId>com.alibaba.cspgroupId> <artifactId>sentinel-transport-simple-httpartifactId> dependency>启动参数，指定Dashboard地址：
-Dcsp.sentinel.dashboard.server=127.0.0.1:8090或代码中添加：
System.setProperty("csp.sentinel.dashboard.server", "127.0.0.1:8090");规则代码：
private static void initDegradeRule() { List<DegradeRule> rules = new ArrayList<DegradeRule>(); DegradeRule rule = new DegradeRule(); rule.setResource(KEY); // set threshold rt, 10 ms rule.setCount(10); rule.setGrade(RuleConstant.DEGRADE_GRADE_RT); rule.setTimeWindow(10); rules.add(rule); DegradeRuleManager.loadRules(rules); }- 结果演示
查看控制台
- 引用RtDegradeDemo示例
-
异常比例演示
当资源的每秒请求量 >= 5，并且每秒异常总数占通过量的比值超过阈值（DegradeRule 中的 count）之后，资源进入降级状态，即在接下的时间窗口（DegradeRule 中的 timeWindow，以 s 为单位）之内，对这个方法的调用都会自动地返回。异常比率的阈值范围是 [0.0, 1.0]，代表 0% - 100%。
ExceptionRatioDegradeDemo类
private static void initDegradeRule() {
List<DegradeRule> rules = new ArrayList<DegradeRule>();
DegradeRule rule = new DegradeRule();
rule.setResource(KEY);
// set limit exception ratio to 0.1
rule.setCount(0.1);
rule.setGrade(RuleConstant.DEGRADE_GRADE_EXCEPTION_RATIO);
rule.setTimeWindow(10);
// rule.setMinRequestAmount(20);
rules.add(rule);
DegradeRuleManager.loadRules(rules);
}
规则时间窗设为10秒， 降级比例为千分之一。
控制台
3.3 限流演示
流量控制（flow control），其原理是监控应用流量的 QPS 或并发线程数等指标，当达到指定的阈值时对流量进行控制，以避免被瞬时的流量高峰冲垮，从而保障应用的高可用性。
- QPS限流策略
FlowQpsDemo类，控制策略QPS限制为20。
private static void initFlowQpsRule() {
List<FlowRule> rules = new ArrayList<FlowRule>();
FlowRule rule1 = new FlowRule();
rule1.setResource(KEY);
// set limit qps to 20
rule1.setCount(20);
rule1.setGrade(RuleConstant.FLOW_GRADE_QPS);
rule1.setLimitApp("default");
rules.add(rule1);
FlowRuleManager.loadRules(rules);
}
输出结果：
控制台结果：
- 并发线程限流策略
FlowThreadDemo类，限制并发线程访问数为20。
private static void initFlowRule() {
List<FlowRule> rules = new ArrayList<FlowRule>();
FlowRule rule1 = new FlowRule();
rule1.setResource("methodA");
// set limit concurrent thread for 'methodA' to 20
rule1.setCount(20);
rule1.setGrade(RuleConstant.FLOW_GRADE_THREAD);
rule1.setLimitApp("default");
rules.add(rule1);
FlowRuleManager.loadRules(rules);
}
输出结果：
控制台监控：
更多Wiki文档
4. 总结
-
掌握Dashboard控制台的安装使用， 应用服务的接入配置。
-
Sentinel的降级与限流功能配置使用， 理解相关控制策略。
readDemo类，限制并发线程访问数为20。
private static void initFlowRule() {
List<FlowRule> rules = new ArrayList<FlowRule>();
FlowRule rule1 = new FlowRule();
rule1.setResource("methodA");
// set limit concurrent thread for 'methodA' to 20
rule1.setCount(20);
rule1.setGrade(RuleConstant.FLOW_GRADE_THREAD);
rule1.setLimitApp("default");
rules.add(rule1);
FlowRuleManager.loadRules(rules);
}
输出结果：
[外链图片转存中…(img-uUpz715w-1649904273217)]
控制台监控：
[外链图片转存中…(img-bIKkFnBD-1649904273218)]
更多Wiki文档
4. 总结
-
掌握Dashboard控制台的安装使用， 应用服务的接入配置。
-
Sentinel的降级与限流功能配置使用， 理解相关控制策略。