分布式链路追踪系统Skywalking的部署和应用

一，背景

随着业务的扩张, 系统变得越来越复杂, 由前端、app、api,微服务,数据库,缓存,消息队列,关系数据库, 列式数据库等构成了繁杂的分布式网络. 当出现一个调用失败的问题时,要定位异常在哪个服务,需要进入每一个服务里看日志, 这个过程的复杂度和工作量是不可想象的。

​    当讲到大型微服务系统时， 下面这张图经常被引用到。

为了解决故障定位难,链路梳理难,容量预估难的问题, 一般引入APM体系统来解决, 而链路追踪则是APM中尤为重要的一环。
有了链路追踪， 我们可以做到：

1. 请求链路追踪,故障快速定位: 可以通过调用链路并结合业务日志快速定位问题所在;
2. 可视化: 展示各阶段耗时, 进行性能瓶颈分析;
3. 应用拓扑: 梳理服务依赖关系并加以优化;
4. 数据分析:  汇总分析用户的行为路径。

二，术语

APM: 应用系统的实时监控,用于实现性能管理和故障管理
Dapper:  google一篇论文里提到, 主要详谈分布式跟踪服务的设计
prometheus： 服务监控系统
grafana：度量分析和可视化工具
zipkin：分布式的跟踪系统
cat： 大众点评开发的实时应用监控平台
skywalking：Apache顶级项目的链路跟踪系统
ELK：Elasticsearch、Logstash和Kibana三大开源框架
EFK：elasticsearch、filebeat和kibana
Filebeat：golang实现的日志采集器

三，APM主要解决的问题

1. Metrics集中式度量系统 (prometheus+grafana),用于可聚合的数据
2. Tracing分布式全链接追踪系统 (zipkin,cat,skywalking等),用于请求范围内的信息
3. Loging集中日志系统 (ELK, EFK, Filebeat+ELK),用于记录离散的事件

三者有相互重叠的部分

四，技术选型

阿里的鹰眼, 点评的cat：闭源或侵入式
zipkin：可视化方面做得太简单
这个三个框架从技术选型上排除掉。下面主要从pinpoint和skywalking这两个作对对比
 

对比项	Pinpoint	Skywalking
opentracing	否	是
协议	thrift	gRPC
存储	hbase+mysql	es,mysql,h2,tidb
ui丰富度	高	一般
代码侵入式	无	低
性能损耗	高	低
部署难度	高	低

通过对比可以看到，Pinpoint和Skywalking不相上下，各有优劣，从界面、操作，集成方式来说，Pinpoint更好,  不过因为种种不得已的原因，我们今天还是聚焦在Skywalking上，它的优点是部署难度低，监控范围广、维度多，对代码侵入少，系统性能损失低，还支持接入 ELK 进行存储展示。

其他限制
1.只支持已知的代理，如果使用的中间件还未被支持，需要自己写插件。
2.跨线程的场景不支持自动代理，比如任务分配，任务池，批处理的场景。

五，skywalking原理

什么是span
下图描述的是树结构的Span集合，表示一次完整的跟踪，从请求到服务器开始，服务器返回response结束，跟踪每次rpc调用的耗时，存在唯一标识trace_id。

什么是skywalking

• 客户端是通过Agent，与Collector相连接，然后Collector将数据存储在Es中。
• 监控页面是连接的Collector，Collector从Es中将数据查询出来。
• 直接和数据打交道的是Collector。

六，部署

1, 部署elk

docker run -dit --name elk \
    -p 5601:5601 \
    -p 9200:9200 \
    -p 5044:5044 \
    -v /data/elk-data:/var/lib/elasticsearch \
    -v /etc/localtime:/etc/localtime \
    sebp/elk:700

2，安装Skywalking server 

docker run --name oap --restart always -d \
-e TZ=Asia/Shanghai \
-p 12800:12800 \
-p 11800:11800 \
--link elk:es7 \
-e SW_STORAGE=elasticsearch7 \
-e SW_STORAGE_ES_CLUSTER_NODES=es7:9200 \
apache/skywalking-oap-server:8.2.0-es7

docker run -d --restart always --name skywalking-ui \
-e TZ=Asia/Shanghai \
-p 18080:8080 \
--link oap:oap \
-e SW_OAP_ADDRESS=oap:12800 \
apache/skywalking-ui:8.2.0

访问地址：http://服务器IP/18080

七，无侵入跟踪采集

注意：Skywalking并不是无侵入的，只是可以用无侵入这种来用，实际上要用traceId查询的话，还是要侵入代码，这是它不安全的地方！！！

1，如果是准备用无侵入的方式接入采集的话，agent-jar包所在的下载地址

1, 下载：wget  https://dlcdn.apache.org/skywalking/java-agent/9.0.0/apache-skywalking-java-agent-9.0.0.tgz
2, 解压缩： tar -zxvf apache-skywalking-java-agent-9.0.0.tgz

3, 在解压后的文件夹中有 skywalking-agent.jar

2，运行jar时,加入jvm选项

-javaagent:\path\skywalking-agent.jar -Dskywalking.agent.service_name=${service_name} -Dskywalking.collector.backend_service=${ip}:{port}
注意:上面一行要放在 -jar选项之前

例如：
java -javaagent:/root/apm/skywalking-agent.jar -Dskywalking.agent.service_name=myName -Dskywalking.collector.backend_service=127.0.0.1:11800 -jar xxxx.jar

八，侵入式记录traceid到日志

1，引入pom

 
     org.apache.skywalking
     apm-toolkit-trace
     6.5.0

2, 修改log4j.xml的pattern

日志展现结果, 有了traceid,parrent spanid, spanid, 使得有ELK统一日志系统把具体业务

3, filter的实现

@Component
public class TraceIdFilter extends OncePerRequestFilter {
    private static final String TRACE_ID = "TRACE_ID";
    private static final String SPAN_ID = "SPAN_ID";
    private static final String SPAN_PID = "SPAN_PID";

    @Override
    protected void doFilterInternal(HttpServletRequest request, HttpServletResponse response, FilterChain chain)
            throws ServletException, IOException {
        String traceId = TraceContext.traceId();
        if(null == traceId){
            chain.doFilter(request, response);
            return;
        }

        String spanPid = request.getHeader(SPAN_PID);
        // 生成spanId
        String spanId;
        if(spanPid == null){
            spanPid = "0";
            spanId = "1";
        }
        else {
            spanId = String.valueOf(Integer.valueOf(spanPid) +1);
        }
        SpanContext.getContext().initContext(spanId);
        MDC.put(TRACE_ID, traceId);
        MDC.put(SPAN_ID, spanId);
        MDC.put(SPAN_PID, spanPid);
        chain.doFilter(request, response);
    }

    @Override
    public void destroy() {
        MDC.clear();
    }
}

4,  feign拦截器的实现

public class FeignClientInterceptor implements RequestInterceptor {
    private static final String SPAN_PID = "SPAN_PID";
    @Override
    public void apply(RequestTemplate requestTemplate) {
        try {
            SpanContext spanContext = SpanContext.getContext();
            if (Objects.nonNull(spanContext)) {
                requestTemplate.header(SPAN_PID, spanContext.getSpanId());
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}
SpanContext
@Data
public class SpanContext {
    private String spanId;
    private static ThreadLocal LOCAL = new ThreadLocal<>();

    public static SpanContext getContext() {
        SpanContext context = LOCAL.get();
        if (Objects.isNull(context)) {
            context = new SpanContext();
            LOCAL.set(context);
        }
        return context;
    }

    /**
     * 初始化
     */
    public void initContext(String spanId){
        this.spanId = spanId;
    }
}

九，UI界面

简单记录一下，实际上我是不喜欢这个工具，没有PP好用！

码字不易，记得点赞关注哟！