OpenTelemetry 简析

  • 组件闭环的信息

  • 组件间或系统间流动的信息

第一种形态通常可通过 logs 或 metrics 表征,第二种形态就需要 trace 表征,在流动的信息中增加标记。

对于 logs 和 metrics 的区别,可通过它们的操作方法进行理解。

再进一步抽象,可观测性涉及到如下问题:

  • 观测数据的数据模型

  • 观测数据的采集

  • 观测数据的处理

  • 观测数据的导出

  • 观测数据的使用

  • etc.

上述即是 OpenTelemetry 面对的问题域及具体的问题,且将具体的问题限定在:

  • 观测数据的数据模型

  • 观测数据的采集

  • 观测数据的处理

  • 观测数据的导出

[](()OpenTelemetry 的解决方案是什么?


OpenTelemetry 通过 Spec 规范了观测数据的数据模型以及采集、处理、导出方法,包括 trace、metrics、logs (未来不排除会有新的类型),参见 [opentelemetry-specification](()。

同时为了方便使用,通过 protobuf 来描述,参见[opentelemetry-proto](()。

基于 Spec,OpenTelemetry 面向观测数据的生成和处理,做了如下的努力:

  • 为了方便开发者使用,提供了语言相关的 SDK,如 [opentelemetry-go](()、[opentelemetry-java](()、[opentelemetry-js](() 等,所有支持的开发语言可参见 [官方文档](()

  • 为了方便可观测数据的采集、处理、导出,提供了通过配置管理的 Collector 服务,如对接开源项目的 [opentelemetry-collector](()、对接第三方 vendor 的 [opentelemetry-collector-contrib](()

通过下图可直观理解 OpenTelemetry 的组件和工作流:

OpenTelemetry 简析_第1张图片

[](()OpenTelemetry 的历史是什么?


从 [A brief history of OpenTelemetry (So Far)](() 可简单了解到,OpenTelemetry 是由两个开源项目合并组成的:

  • [OpenCensus](()

  • 面向 trace 和 metrics 进行数据模型标准化,并提供采集、处理、导出的工具

  • [OpenTracing](()

  • 面向 trace 进行数据模型标准化,并提供采集、处理、导出的工具

2019 年 5 月,两个开源项目合并,官方宣布开源 OpenTelemetry 项目。

2021.02,trace spec 达到 1.0 版本,根据官方的成熟度模型 (link,目前 trace 的 s 《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》无偿开源 威信搜索公众号【编程进阶路】 pec 已经达到 stable 级别,metrics 达到了 beta 级别,logs 当前还处在 alpha 级别:

OpenTelemetry 简析_第2张图片

[](()OpenTelemetry 的前景如何?


自 OpenTelemetry 推出以来,有越来越多的厂商开始关注和贡献。

从 [opentelemetry-collector-contrib](() 可看出来,厂商的关注重点在于 exporter 部分,将观测数据便利导入到自身的服务中,其中已经包含阿里云自身的 [SLS 产品](():

OpenTelemetry 简析_第3张图片

对于 receiver 和 processor 环节,相信厂商也会逐步投入更多的精力,如:

  • 通过 receiver 和 exporter 的配合,形成观测数据的处理 workflow

  • 通过 processor,在观测数据存储前进行规范化处理

对于多云场景,OpenTelemetry 定义的观测数据模型、采集/处理/导出 标准,将有利于用户通过一套可观测性标准对接多种云厂商,避免 vendor 锁定。

即使是面向单一的云 (如云厂商内部的服务),也不可避免会考虑未来进行开源、与外部共建等,使用社区的可观测性标准可以降低开源成本。同时,可观测性的理念、标准、技术在不断迭代,通过跟进社区,可以更好使用到社区带来的技术红利和影响力。

因此,无论是面对多云场景还是单一的云厂商,采用业界的可观测性标准都是很有必要。

[](()OpenTelemetry 如何使用?


[](()核心概念

OpenTelemetry 中的概念比较多,这里列举些常见的概念,方便进行理解:

  • 观测数据相关

  • Signal

  • 观测数据类型,如 trace、metrics、logs

  • Instrument

  • 可认为是某种 Signal 的实例

  • OpenTelemetry 自身项目相关

  • API

  • OpenTelemetry Spec 的形式化描述,如 [opentelemetry-proto](()

  • SDK

  • 面向不同开发语言的 API 实现

  • Contrib Packages

  • 与具体的开源项目或 vendor 产品相关的实现

  • 使用的组件相关

  • Components

  • Receivers

  • 接收观测数据的组件

  • Processors

  • 处理接收到的观测数据的组件

  • Exporters

  • 将观测数据导出的组件,如导出到开源项目 Prometheus 或云厂商服务中

  • Extensions

  • 不参与观测数据的处理,辅助相关处理组件的运行,如健康检测、服务发现等

  • Services

  • 表征配置的哪些组件需要运行,如 receivers / processors / exporters / extentions

  • Collector

  • 可认为是 receivers / processors / exporters / extentions / services 组成的整体

  • Controller

  • 用于开发者开发的应用中,作用可等同于 receivers / processors / exporters 组成的整体

[](()golang demo

笔者写了一个 golang demo,用来演示:

  • APP 中如何生成 trace / metrics 数据

  • APP 中使用 stdout controller 来采集、处理、打印 trace / metrics 数据

  • APP 中通过 otlp controller 采集 trace / metrics 数据,并导出到外部运行的 collector 中

  • 本地独立运行一个 collector 服务,接收 otlp controller 推送的 trace / metrics 数据,并将其导出到本地文件和阿里云 SLS 中

demo 参见:[https://github.com/flyer103/otel-demo](()

具体的使用方法参见 demo 的 README.md,下述简单描述下思路。

cmd/app/server.go 文件描述了 OpenTelemetry 的使用逻辑,分成两部分:

  1. 初始化并运行全局的 controller,用来在 APP 内部 receive / process / export 观测数据,或将 APP 内的观测数据推送到外部

  2. APP 内按照业务需求生成 metrics 和 trace

OpenTelemetry 简析_第4张图片

你可能感兴趣的:(Java,经验分享,架构,java)