【学习笔记】分布式追踪Tracing

在软件工程中，Tracing指使用特定的日志记录程序的执行信息，与之相近的还有两个概念，它们分别是Logging和Metrics。

Logging：用于记录离散的事件，包含程序执行到某一点或某一阶段的详细信息，比如，应用程序的调试（debug）信息或错误（error）信息。它是我们诊断问题的依据。
Metrics：用于记录可聚合的数据，且通常是固定类型的时序数据，每个都是一个逻辑计量单元，或者一个时间段内的柱状图，比如，队列的当前深度可以被定义为一个计量单元，在写入或读取时被更新统计；输入HTTP请求的数量可以被定义为一个计数器，用于简单累加；请求的执行时间可以被定义为一个柱状图，在指定时间片上更新和统计汇总。
Tracing：用于记录单次请求范围内的处理信息，其中包括服务调用和处理时长等，比如，一次调用远程服务的RPC执行过程；一次实际的SQL查询语句；一次HTTP请求的业务性ID。它是我们排查系统性能问题的利器。

系统架构从单体转变为微服务以后，一次请求往往涉及到多个服务之间的调用。随着服务数量的增多和内部调用链的复杂化，仅凭借日志和性能监控很难做到 “See the Whole Picture”，在进行问题排查或是性能分析的时候，无异于盲人摸象。

分布式追踪系统（Tracing）旨在分析请求背后调用了哪些服务，服务的调用顺序、耗时、错误原因等，帮助开发者直观分析请求链路，快速定位性能瓶颈，逐渐优化服务间依赖，也有助于开发者从更宏观的角度更好地理解整个分布式系统。

早在 2005 年，Google 就在内部部署了一套分布式追踪系统 Dapper，并发表了一篇论文《Dapper, a Large-Scale Distributed Systems Tracing Infrastructure》，阐述了该分布式追踪系统的设计和实现，可以视为分布式追踪领域的鼻祖。随后各大厂商纷纷落地了一些优秀的分布式追踪系统，比如Jaeger（Uber）、Zipkin（twitter）、X-ray（AWS）、SkyWalking等，但各家的分布式追踪方案很可能是互不兼容的，于是诞生了OpenTracing。

1. OpenTracing

OpenTracing是一个轻量级的标准化层，它位于<应用程序/类库>和<追踪或日志分析程序>之间，通过提供平台无关、厂商无关的API，使得开发人员能够方便的添加（或更换）追踪系统的实现，解决不同的分布式追踪系统API不兼容的问题，也使得在通用代码库增加对分布式追踪的支持成为可能。

后台无关的一套接口，被跟踪的服务只需要调用这套接口，就可以被任何实现这套接口的跟踪后台（比如Zipkin, Jaeger等等）支持，而作为一个跟踪后台，只要实现了个这套接口，就可以跟踪到任何调用这套接口的服务。
标准化了对跟踪最小单位Span的管理：定义了开始Span，结束Span和记录Span耗时的API。
标准化了进程间跟踪数据传递的方式：定义了一套API方便跟踪数据的传递。
标准化了进程内当前Span的管理：定义了存储和获取当前Span的API。
不对编码定标准：不对进程间传递的跟踪数据的编码定标准，不对向后台发送的跟踪数据的编码定标准，让跟踪后台自己决定最适合他们的编码方式。

OpenTracing已进入 CNCF，正在为全球的分布式追踪，提供统一的概念和数据标准，支持多种语言：https://github.com/opentracing。其中，OpenTracing API for Java：https://github.com/opentracin...

opentracing-api，是一个纯粹的API没有任何依赖
opentracing-noop，实现了API，但是是空实现什么也不干，依赖opentracing-api
opentracing-util，包含了一个GlobalTracer和基于Thread_local的简单实现ScopeManager，依赖opentracing-api、opentracing-noop
opentracing-mock，mock测试，包含一个简单的MockTracer，将数据存储进内存，依赖opentracing-api、opentracing-noop、opentracing-util
opentracing-testbed，用于测试和尝试新特性

OpenTracing数据模型中有三个重要的相互关联的类型，分别是Tracer，Span和SpanContext。

Trace：一个完整请求链路
Span：一次调用过程(需要有开始时间和结束时间)
SpanContext：Trace的全局上下文信息，如里面有traceId

Trace

一个Trace代表一个事务或者流程在（分布式）系统中的执行过程。一条Trace（调用链）可以被认为是一个由多个Span组成的有向无环图（DAG），通过归属于此调用链的Span来隐性的定义。

Tracer接口用来创建Span，以及处理如何处理Inject(serialize) 和 Extract (deserialize)，用于跨进程边界传递。

Span

一个Span代表系统中具有开始时间和执行时长的逻辑运行单元。Span之间通过嵌套或者顺序排列建立逻辑因果关系。Span可以被理解为一次方法调用, 一个程序块的调用, 或者一次RPC/数据库访问，只要是一个具有完整时间周期的程序访问，都可以被认为是一个span。每个Span包含以下的状态：

An operation name，操作名称
A start timestamp，起始时间
A finish timestamp，结束时间
Span Tag，一组键值对构成的Span标签集合。键值对中，键必须为string，值可以是字符串，布尔，或者数字类型
Span Log，一组span的日志集合。每次log操作包含一个键值对，以及一个时间戳。键值对中，键必须为string，值可以是任意类型
SpanContext，Span上下文对象
References，Span间关系，目前定义了两种关系：ChildOf（父子，父级span某种程度上取决于子span）和 FollowsFrom（跟随，父级节点不以任何方式依然他们子节点的执行结果）

SpanContext

Span上下文对象，代表跨越进程边界，传递到下级span的状态。每一个SpanContext包含以下状态：

任何一个OpenTracing的实现，都需要将当前调用链的状态（例如：trace和span的id），依赖一个独特的Span去跨进程边界传输
Baggage Items，Trace的随行数据，是一个键值对集合，它存在于trace中，也需要跨进程边界传输

OpenTracing的使用者仅仅需要，在创建span、向传输协议Inject（注入）和从传输协议中Extract（提取）时，使用SpanContext和References。

2. Jaeger

Jaeger是Uber开源的一款分布式追踪系统（https://github.com/jaegertrac...），兼容OpenTracing API（支持Java语言：https://github.com/jaegertrac...）。

jaeger-client：Jaeger的客户端，实现了OpenTracing的API，支持主流编程语言。客户端直接集成在应用程序中，把trace信息按指定的采样策略传递给jaeger-agent，这个过程通常被称为埋点。
jaeger-agent：一个监听在UDP端口上接收trace信息的网络守护进程，会将数据批量发送给jaeger-collector。它被设计成一个基础组件，部署到所有的宿主机上，agent将client和collector解耦，为client屏蔽路由和发现collector的细节。
jaeger-collector：负责接收jaeger-agent发送来的数据，然后异步处理，最终将数据存储到DB中。它被设计成无状态的组件，因此可以同时运行任意数量的jaeger-collector。
jaeger-query：接收查询请求，然后从DB中检索 trace信息并通过 UI 进行展示。Query是无状态的，可以启动多个实例，把它们部署在nginx这样的负载均衡器后面。
jaeger-ingester：中文名称“摄食者”，从kafka读取数据然后写到jaeger的后端存储，比如Cassandra和Elasticsearch。

分布式追踪系统大体分为三个部分，数据采集、数据持久化、数据展示。

数据采集是指在代码中埋点，设置请求中要上报的阶段，以及设置当前记录的阶段隶属于哪个上级阶段。
数据持久化则是指将上报的数据落盘存储，例如Jaeger就支持多种存储后端，可选用Cassandra或者Elasticsearch。
数据展示则是前端根据TraceId查询与之关联的请求阶段，并在界面上呈现。

3. dd-trace-java

dd-trace-java（https://github.com/DataDog/dd...）是Datadog开源的一个java版本的APM（应用性能管理）客户端。它依赖了jaeger-client-java中的jaeger-core，采用字节码注入技术（JavaAgent）进行埋点，支持针对不同组件（http、kafka、jdbc等）进行插件化开发。

启动入口在AgentBootstrap的premain方法：

AgentInstaller.installBytebuddyAgent：注册各种支持不同组件的埋点插件
TracerInstaller.installGlobalTracer：注册一个全局的Tracer

public class AgentInstaller {
    
    public static ResettableClassFileTransformer installBytebuddyAgent(final Instrumentation inst) {
        AgentBuilder agentBuilder = new AgentBuilder.Default()
            .disableClassFormatChanges()
            .with(AgentBuilder.RedefinitionStrategy.RETRANSFORMATION)
            .with(new RedefinitionLoggingListener())
            .with(AgentBuilder.DescriptionStrategy.Default.POOL_ONLY)
            .with(AgentTooling.poolStrategy())
            .with(new TransformLoggingListener())
            .with(new ClassLoadListener())
            .with(AgentTooling.locationStrategy())
            .ignore(any(), skipClassLoader())
            .or(nameStartsWith("datadog.trace."))
            .or(nameStartsWith("datadog.opentracing."))
            .or(nameStartsWith("datadog.slf4j."))
            .or(nameStartsWith("java.").and(not(nameStartsWith("java.util.concurrent."))))
            .or(nameStartsWith("com.sun."))
            .or(nameStartsWith("sun.").and(not(nameStartsWith("sun.net.www."))))
            .or(nameStartsWith("jdk."))
            .or(nameStartsWith("org.aspectj."))
            .or(nameStartsWith("org.groovy."))
            .or(nameStartsWith("com.p6spy."))
            .or(nameStartsWith("org.slf4j."))
            .or(nameContains("javassist"))
            .or(nameContains(".asm."))
            .or(nameMatches("com.mchange.v2.c3p0..*Proxy"));
 
        for (final Instrumenter instrumenter : ServiceLoader.load(Instrumenter.class)) {
            log.info("Loading instrumentation {}", instrumenter.getClass().getName());
            agentBuilder = instrumenter.instrument(agentBuilder);
        }
        return agentBuilder.installOn(inst);
    }
}

业务方可通过继承Instrumenter.Default进行插件化开发，以支持不同组件的埋点。

@AutoService(Instrumenter.class)
public class MDCInjectionInstrumentation extends Instrumenter.Default {

    private static final String mdcClassName = "org.TMP.MDC".replaceFirst("TMP", "slf4j");
    
    @Override
    protected boolean defaultEnabled() {
        return Config.get().isLogsInjectionEnabled();
    }
    
    @Override
    public ElementMatcher typeMatcher() {
        return named(mdcClassName);
    }
    
    @Override
    public void postMatch(
            final TypeDescription typeDescription,
            final ClassLoader classLoader,
            final JavaModule module,
            final Class classBeingRedefined,
            final ProtectionDomain protectionDomain) {
        if (classBeingRedefined != null) {
            MDCAdvice.mdcClassInitialized(classBeingRedefined);
        }
    }
    
    @Override
    public Map, String> transformers() {
        return singletonMap(
                isTypeInitializer(), MDCInjectionInstrumentation.class.getName() + "$MDCAdvice");
    }
    
    @Override
    public String[] helperClassNames() {
        return new String[]{LogContextScopeListener.class.getName()};
    }
 
    public static class MDCAdvice {

        @Advice.OnMethodExit(suppress = Throwable.class)
        public static void mdcClassInitialized(@Advice.Origin final Class mdcClass) {
            try {
                final Method putMethod = mdcClass.getMethod("put", String.class, String.class);
                final Method removeMethod = mdcClass.getMethod("remove", String.class);
                GlobalTracer.get().addScopeListener(new                 LogContextScopeListener(putMethod, removeMethod));
            } catch (final NoSuchMethodException e) {
                org.slf4j.LoggerFactory.getLogger(mdcClass).debug("Failed to add MDC span listener", e);
            }
        }
    }
}

End

OpenTracing建立了一套标准，解决了不同的分布式追踪系统埋点API不兼容的问题（类似SLF4J）；Uber开源的Jaeger提供一套完整的分布式追踪解决方案（兼容OpenTracing API），包括数据采集、数据持久化、数据展示；Datadog开源的dd-trace-java是一个APM client for Java（依赖jaeger-client-java），采用字节码注入技术（JavaAgent）进行埋点，支持针对不同组件进行插件化开发。