【55-分布式组件Skywalking基本概念-应用性能管理APM-SkyWalking环境搭建部署-Skywalking服务接入-Skywalking持久化-自定义SkyWalking链路】

一.知识回顾

【0.三高商城系统的专题专栏都帮你整理好了，请点击这里！】
【1-系统架构演进过程】
【2-微服务系统架构需求】
【3-高性能、高并发、高可用的三高商城系统项目介绍】
【4-Linux云服务器上安装Docker】
【5-Docker安装部署MySQL和Redis服务】
【6-Git安装与配置过程、Gitee码云上创建项目、IDEA关联克隆的项目】
【7-创建商城系统的子模块并将修改后的信息使用Git提交到Gitee上】
【8-数据库表结构的创建&后台管理系统的搭建】
【9-前端项目的搭建部署、Node安装、VSCode安装】
【10-Node的安装以及全局环境变量的相关配置&解决启动报错的问题(1.Error: Cannot find module ‘fs/promises)(2.npm安装node-sass报错)】
【11-导入人人generator项目并自动生成相关的文件&商品子模块的调试&公共模块common子模块的抽离与实现&Lombok插件的安装】
【12-商品子模块整合MyBatisPlus技术&其它模块通过generator的自动生成与补充完善】
【13-项目中微服务组件的学习-SpringCloudAlibaba微服务生态体系的学习&SpringCloudAlibaba的依赖管理&项目中SpringBoot和SpringCloud版本的统一】
【14-微服务的注册中心与配置中心Nacos&Windows操作系统上安装Nacos和Linux操作系统上用Docker中安装Nacos&每个子项目模块使用Nacos进行服务注册与发现】
【15-项目中服务的远程调用之OpenFeign&订单模块与商品模块集成使用OpenFeign的案例】
【16-配置中心之Nacos的基本使用&Nacos服务之命令空间、Nacos服务之配置组、Nacos服务之配置拆分】
【17-微服务网关之Spring Cloud Gateway&Spring Cloud Gateway网关服务搭建】
【18-业务开发-基础业务-商品模块-分类管理-前后端管理系统的启动-为分类管理表增加数据-Json插件的下载-返回具有层级目录、父子关系结构的数据】
【19-业务开发-基础业务-商品模块-分类管理-管理系统新建菜单-后端项目renren注册到Nacos注册中心和配置中心去-项目gateway网关模块的搭建-浏览器的同源策略与解决跨域问题实操案例】
【20-业务开发-基础业务-商品模块-分类管理-前端展示后端具有层级关系的目录数据-商品系统三级分类的逻辑删除前后端代码实现】
【21-业务开发-基础业务-商品模块-分类管理-商品系统三级分类的新增类别前后端代码实现-商品系统三级分类的更新类别前后端代码实现-之前错误的Bug修正】
【22-业务开发-基础业务-商品模块-分类管理-商品系统三级分类拖拽页面的功能-前后端代码的逻辑实现-访问测试-拖拽开关的开启和关系-批量更新拖拽数据-批量删除选定数据】
【23-业务开发-基础业务-品牌管理-品牌管理项目搭建-品牌管理实现的增删改查操作测试-后端数据显示状态使用前端组件开关按钮展示-以及数据处理以及测试】
【24-业务开发-基础业务-品牌管理-图片管理-阿里云OSS服务开通和使用-阿里云OSS服务API使用-SpringCloudAlibaba OSS服务的使用】
【25-业务开发-基础业务-品牌管理-图片管理-图片上传方式的三种实现方式-第三方公共服务模块集成到项目中-服务端生成签名实战】
【26-业务开发-基础业务-品牌管理-图片管理-上传图片功能实现-基于阿里云OSS服务-解决跨域问题-设置跨域规则-修改ACL权限为公共读】
【27-业务开发-基础业务-品牌管理-图片管理-添加修改品牌信息并显示图片-前端数据校验-后端数据JSR303校验实现-统一异常处理-自定义响应编码规则-分组校验-自定义校验注解-项目Bug解决】
【28-业务开发-基础业务-属性管理-SKU和SPU基本概念-SKU和SPU关联关系-属性实体之间的关联关系-批量菜单创建】
【29-业务开发-基础业务-属性管理-属性组业务逻辑开发-页面布局-三级分类组件功能-属性组表单-父子组件传值-属性组数据展示-属性组数据添加-属性组数据修改-前后端项目整合交互测试】
【30-业务开发-基础业务-品牌管理-分类维护-解决分类维护业务开发中的一个Bug-品牌管理-分页插件-分页功能的逻辑实现-品牌管理-检索条件模糊查询品牌管理-增加更新操作中排序字段检验还是存在问题】
【31-业务开发-基础业务-品牌管理-级联类别信息业务功能实现-品牌管理和商品分类管理俩者业务关联出现数据冗余，导致数据不同步的问题-开启事务-项目测试】
【32-业务开发-基础业务-规格参数-保存数据-查询数据-更新操作之数据回显展示-更新操作-前后端项目交互整合与测试-总结收获】
【33-业务开发-基础业务-规格参数-销售属性-多表之间的关联增删改查操作-前后端项目交互整合与测试-Cannot read property ‘publish‘ of undefined】
【34-业务开发-基础业务-属性组和基本属性-属性组和基本属性建立关联-属性组和基本属性解除关联-未关联属性查询-确认新增】
【35-业务开发-基础业务-商品服务-新增商品-会员模块服务-mall-member-会员模块数据维护-规格参数维护-前端项目Bug解决-PubSub依赖缺失】
【36-业务开发-基础业务-商品服务SPU-前后端处理商品数据Json-发布商品前后端业务逻辑-feign服务远程调用-DTO数据传输对象-商品服务的检索-商品管理的检索项目中修改更正完善逻辑操作】
【37-业务开发-基础业务-库存管理- 仓库模块Nacos注册中心的配置-Gateway网关配置-仓库维护的增删改查-商品库存管理-采购流程-采购需求维护-采购需求合并-领取采购单完成采购操作】
【插入------>ElasticSearch专栏相关的知识内容都整理好了，在这里哟！】
【38-商品上架功能结合ElasticSearch全文检索的流程-商品ES关系映射模型&Docker安装ik分词器-实现上架功能复杂的逻辑实现-Postman+Kibana访问测试】
【39-商品整合thymeleaf模板引擎-商城用户端的实现逻辑-部署devtools工具依赖-商品后台-三级分类逻辑分析实现-Docker 安装部署Nginx-Nginx对网关实现反向代理负载均衡】
【40-系统性能压力测试基本概念-相关性能指标HPS&TPS&QPS&RT-安装Jmeter教程-JMeter测试流程-线程组-取样器-监视器-测试商城首页-JMeter Address 占用的问题】
【41-系统性能压力测试优化-JVM知识回顾-jconsole和jvisualvm-jvisualvm安装Visual GC插件-Nginx压力测试- 网关gateway压测-Nginx实现动静分离】
【42-缓存的基本概念-是否使用缓存的场景-本地缓存-分布式缓存-项目中整合Redis-修改三级分类逻辑代码+加入缓存-三级分类加入缓存后压力测试-缓存穿透-缓存雪崩-缓存击穿】
【43-本地锁-分布式锁概念原理-分布式锁解决方案-Redis实现分布式锁-Redisson分布式锁-项目整合Redisson-缓存数据一致性问题-解决缓存一致性的方案-SpringCache缓存】
【44-商城检索服务的搭建-页面跳转调整-elasticsearch检索服务前后端响应的VO对象-检索服务前后端逻辑实现-构建SearchRequest、SearchResponse对象】
【45-线程的实现方式-线程池的创建方式-线程池的执行顺序-CompletableFutrue异步处理】
【46-商品详情页服务搭建架构图-前后端商品响应详情VO对象-商品详情后端逻辑处理-商品详情页前端渲染逻辑-CompletableFuture的异步编排处理】
【47-商城认证服务-Nacos注册中心配置中心-Nginx动静分离&反向代理-Gateway网关路由配置-视图解析器-验证码逻辑-阿里云短信服务-短信功能实现-Feign调用模块-Redis验证码】
【48-注册功能JSR303数据校验-mall-auth-server服务远程调用mall-member服务保存注册用户信息&登陆功能-阿里云SMS服务-Redis验证码存储-Feign远程调用】
【49.Auth2.0认证与授权过程-微博开放平台认证授权过程-百度开放平台认证授权过程-社交登录实现(微博授权)-分布式Session问题与解决方案-SpringSession整合-Redis】
【50-购物车模块事项逻辑操作-购物车数据存储方式-添加商品到购物车实现的逻辑操作-Nginx负载均衡&动静分离-Gateway网关路由配置-SpringSession-Redis会话信息存储】
【51-订单模块-资源整合-整合SpringSession-订单中心核心逻辑-认证拦截-订单提交-订单生成逻辑-接口幂等性处理-接口幂等性解决方案】
【52-分布式事务-本地事务-事务特性-事务隔离级别-事务传播行为-分布式事务CAP定理-Base理论-分布式事务解决方案-微服务分布式Seata解决方案-Docker安装RocketMQ详细教程】
【53-秒杀服务-秒杀活动关注的问题-秒杀活动实现的流程思路-微服务项目(gateway+sentinel+skywalking+nacos+feign)+redis+nginx+mysql】
【54-Sentinel熔断、降级、限流的基本概念-Sentinel实战上手应用-actuator实时监控-Docker安装部署Sentinel教程-熔断降级实战练习-Sentinel自定义资源】

二.Skywalking介绍

Skywalking:是一个APM系统，包含监控，追踪，并拥有故障诊断能力的 分布式系统

2.1 SkyWalking基本概念

  Skywalking是由国内开源爱好者吴晟开源并提交到Apache孵化器的产品，它同时吸收了Zipkin /Pinpoint /CAT 的设计思路。特点是：支持多种插件，UI功能较强，支持非侵入式埋点。目前使用厂商最多，版本更新较快。

  数据存储支持：Elasticsearch、MySQL、H2、TiDB。默认是H2，而且是存到内存。实际我们一般将其存到ES。

主页：http://skywalking.apache.org/
下载：https://skywalking.apache.org/downloads/
github：https://github.com/apache/skywalking
文档：https://github.com/apache/skywalking/tree/master/docs
配置：https://github.com/apache/skywalking/tree/master/docs/en/setup/backend

2.2 APM基本概念

  APM全称Application Performance Management应用性能管理，目的是通过各种探针采集数据，收集关键指标，同时搭配数据呈现以实现对应用程序性能管理和故障管理的系统化解决方案.

  Zabbix、Premetheus、open-falcon等监控系统主要关注服务器硬件指标与系统服务运行状态等，而APM系统则更重视程序内部执行过程指标和服务之间链路调用情况的监控，APM更有利于深入代码找到请求响应“慢”的根本问题，与Zabbix之类的监控是互补关系 目前市面上开源的APM系统主要有CAT、Zipkin、Pinpoint、SkyWalking，大都是参考Google的 Dapper实现的.

2.3 链路追踪工具对比

链路追踪工具一般要有如下功能：

• 心跳检测（确定应用是否还在运行）
• 记录请求的执行流程、执行时间
• 资源监控（CPU、内存、带宽、磁盘）
• 告警功能（监控执行时间、成功率等通过邮件、钉钉、短信、微信等进行通知）
• 可视化页面

常用的工具有：

Zipkin
  Twitter开源的调用链分析工具，目前基于springcloud sleuth得到了广泛的使用，特点是轻量，使用部署简单。
Pinpoint
  韩国人开源的基于字节码注入的调用链分析，以及应用监控分析工具。特点是支持多种插件，UI功能强大，接入端无代码侵入。
SkyWalking
  本土开源的基于字节码注入的调用链分析，以及应用监控分析工具。特点是支持多种插件，UI功能较强，接入端无代码侵入。目前已加入Apache孵化器。
CAT
  大众点评开源的基于编码和配置的调用链分析，应用监控分析，日志采集，监控报警等一系列的监控平台工具。

各维度对比

对比项	Zipkin	Pinpoint	SkyWalking	Cat
实现方式	拦截请求，发送(Http,MQ)数据到Zipkin服务	Java探针，字节码增强	Java探针，字节码增强	代码埋点(拦截器，注解，过滤器等)
接入方式	基于linkerd或者sleuth方式	javaagent字节码	javaagent字节码	代码侵入
agent到collector协议	http,MQ	thrift	gRPC	http/tcp
OpenTracing	支持	不支持	支持	不支持
颗粒度	接口级	方法级	方法级	代码级
全局调用统计	不支持	支持	支持	支持
traceid查询	支持	不支持	支持	不支持
报警	不支持	支持	支持	支持
JVM监控	不支持	不支持	支持	支持
UI功能	支持	支持	支持	支持
数据存储	ES、MySQL等	HBase	ES/H2/MySQL	MySQL/HDFS

性能对比图

2.4 SkyWalking的功能特性

1. 多种监控手段，通过语言探针和Service mesh 获得监控的数据
2. 支持多种语言自动探针，包括 Java， .NET Core 和 Node.js
3. 轻量高效，无需大数据平台和大量的服务器资源
4. 模块化，UI，存储，集群管理都有多种机制可选
5. 支持报警，告警
6. 优秀的可视化解决方案

三.SkyWalking环境搭建

3.1 Skywalking结构

  先来看看Skywalking的结构图

说明：

• Skywalking agent 和业务系统绑定在一起，负责收集各种监控数据
• Skywalking oapservice负责处理监控数据，比如接受Skywalking agent的监控数据，并且存储在数据库中，接受Skywalking webapp前端的请求，从数据库查询数据，并返回给前端，Skywalking oapservice通常会以集群的方式搭建
• Skywalking webapp ，UI服务，用于可视化展示数据
• 用户持久化监控数据的数据库，可以选用ElasticSearch、MySQL等

3.2 Skywalking部署

  从官网提供的下载地址下载安装文件，我们通过windows操作来演示下：https://skywalking.apache.org/downloads/

下载成功后解压到非中文文件夹下

启动服务：

启动成功后会启动两个服务，一个是Skywalking-oap-server,一个是Skywalking-web-ui:8080

Skywalking-oap-server服务启动后会暴露11800和12800两个端口，分别为收集监控数据的端口11800和接收前端请求的端口12800，修改端口可以修改config/application.yml

默认端口8080，访问效果如下：

3.3 Java Agent

  在新版本中Agent是需要单独下载的。

进入跳转界面下载即可

下载后解压出来放在了前面Skywalking的解压目录中

拷贝结果

四.Skywalking服务接入

  然后我们就可以把我们的微服务接入到Skywalking中来监控链路的执行。

4.1 开发环境的配置

  首先来看看在开发环境中的配置，因为Skywalking是无侵入式的。我们只需要在启动的时候通过相关的参数配置即可

# skywalking-agent.jar 的路径位置
-javaagent:d:\xxx\skywalking-agent.jar
# 在Skywalking中显示的服务名称
-DSW_AGENT_NAME=xxx-skywalking-service
# Skywalking的collector服务的IP及端口
-DSW_AGENT_COLLECTOR_BACKEND_SERVICES=localhost:11800

注意：-DSW_AGENT_COLLECTOR_BACKEND_SERVICES 可以指定远程服务，但是 -javaagent必须是本地的jar包.

修改后重新设置的参数信息

-javaagent:D:\Skywalking\apache-skywalking-apm-bin\skywalking-agent\skywalking-agent.jar
-DSW_AGENT_NAME=mall-gateway-skywalking-service
-DSW_AGENT_COLLECTOR_BACKEND_SERVICES=localhost:11800

4.2 gateway服务

  然后我们接入gateway的服务。在启动时设置对应的参数

如果我们没有添加Gateway相关的插件，我们可以看到有对应的服务信息，但是没有相关的链路信息，主要是因为默认Skywalking中是不支持Gateway的，我们需要显示的添加对应的gateway插件支持

从我们下载的agent包中的 optional-plugins中把gateway的jar拷贝的对应的plugins中即可

启动服务后，我们进入Skywalking的UI服务中查看

4.3 对接多个服务

  接下来我们就可以把商城系统中的各个服务都对接到Skywalking中，给每个服务添加对应的配置

-javaagent:D:\Skywalking\apache-skywalking-apm-bin\skywalking-agent\skywalking-agent.jar
-DSW_AGENT_NAME=mall-auth-skywalking-service
-DSW_AGENT_COLLECTOR_BACKEND_SERVICES=localhost:11800

分别启动多个微服务模块项目，启动过程出现内存分配不足的情况

首先配置相关启动的参数
一、电脑运行内存为8G的建议

-server
-Xms512m
-Xmx1024m
-XX:ReservedCodeCacheSize=300m
-XX:+UseConcMarkSweepGC
-XX:SoftRefLRUPolicyMSPerMB=50
-ea
-Dsun.io.useCanonCaches=false
-Djava.net.preferIPv4Stack=true
-Djdk.http.auth.tunneling.disabledSchemes=""
-XX:+HeapDumpOnOutOfMemoryError
-XX:-OmitStackTraceInFastThrow

二、电脑运行内存为16G的建议

-server
-Xms1024m
-Xmx2048m
-XX:ReservedCodeCacheSize=500m
-XX:+UseConcMarkSweepGC
-XX:SoftRefLRUPolicyMSPerMB=50
-ea
-Dsun.io.useCanonCaches=false
-Djava.net.preferIPv4Stack=true
-Djdk.http.auth.tunneling.disabledSchemes=""
-XX:+HeapDumpOnOutOfMemoryError
-XX:-OmitStackTraceInFastThrow

其次配置每个模块最大内存

再次启动测试

五.Skywalking持久化

  持久化数据到MySQL中。修改下配置，把原来默认的H2修改为MySQL就可以了。

数据库表中创建对应的表

mysql://localhost:3306/swtest?rewriteBatchedStatements=true&serverTimezone=UTC&useUnicode=true&characterEncoding=utf-8

然后还需要把MySQL的驱动包拷贝到对应的目录中

然后重启服务,访问测试，刷新数据库中的表信息，生成多个表结构

六.自定义SkyWalking链路

  在默认情况下Skywalking是没有记录我们的业务方法的，如果需要添加业务方法的链路监控我们就需要添加如下的依赖

<dependency>
    <groupId>org.apache.skywalkinggroupId>
    <artifactId>apm-toolkit-traceartifactId>
    <version>8.8.0version>
dependency>

然后在业务方法上添加@Trace注解。那么该方法就会被监控

重启服务并访问：

但是查看这个方法的详情中没有返回信息和参数

这时我们可以通过@Tags和@Tag来解决这个问题

@Trace
    @Tags({
            @Tag(key = "getCatelog2JSON",value = "returnedObj"),
            @Tag(key = "param",value = "arg[0]")
    })

key:方法名 value = returnedObj:是指定返回值

arg[0]:参数

重启测试

七.集成日志框架

  将微服务的日志框架去集成SkyWalking，我们希望在我们微服务中日志中，能够记录当前调用链路的id，然后我们再根据这个id去SkyWalking的前端界面中进行搜索找到对应的调用链路记录。

  因为springboot默认实现的日志框架是logback，这里也就拿logback举例

<dependency>
    <groupId>org.apache.skywalkinggroupId>
    <artifactId>apm-toolkit-logback-1.xartifactId>
    <version>8.5.0version>
dependency>

在项目中 resources目录下创建 logback-spring.xml文件

<configuration>

    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
            <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
                <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level logger_name:%logger{36} - [%tid] - message:%msg%npattern>
            layout>
        encoder>
    appender>

    <root level="INFO">
        <appender-ref ref="console" />
    root>

configuration>

在Skywalking UI的日志菜单中显示日志信息

<configuration>

    
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
            <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.TraceIdPatternLogbackLayout">
                <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level logger_name:%logger{36} - [%tid] - message:%msg%npattern>
            layout>
        encoder>
    appender>

    
    <appender name="grpc-log" class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.log.GRPCLogClientAppender">
        <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
            <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.mdc.TraceIdMDCPatternLogbackLayout">
                <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%tid] [%thread] %-5level %logger{36} -%msg%nPattern>
            layout>
        encoder>
    appender>

    <root level="INFO">
        <appender-ref ref="console" />
        <appender-ref ref="grpc-log" />
    root>

configuration>

如果想要自定义一些日志信息,需要将相关的日志信息拷贝到如下的配置文件中

plugin.toolkit.log.grpc.reporter.server_host=${SW_GRPC_LOG_SERVER_HOST:127.0.0.1}
plugin.toolkit.log.grpc.reporter.server_port=${SW_GRPC_LOG_SERVER_PORT:11800}
plugin.toolkit.log.grpc.reporter.max_message_size=${SW_GRPC_LOG_MAX_MESSAGE_SIZE:10485760}
plugin.toolkit.log.grpc.reporter.upstream_timeout=${SW_GRPC_LOG_GRPC_UPSTREAM_TIMEOUT:30}

告警信息