Zipkin与Elasticsearch最佳实践

ZipKin是什么

zipkin是Twitter基于google的分布式监控系统Dapper（论文）的开发源实现，zipkin用于跟踪分布式服务之间的应用数据链路，分析处理延时，帮助我们改进系统的性能和定位故障。
Dapper论文地址

ElasticSearch是什么

Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。

Dapper

两点需求
无所不在的部署，持续的监控
三个具体设计目标
低消耗
跟踪系统对在线服务的影响应该做到足够小
应用级透明
对于应用的程序员来说，是不需要知道有跟踪系统这回事的
延展性
在未来几年的服务和集群的规模，监控系统都应该能完全把控住一个额外的设计目标是为跟踪数据产生之后，进行分析的速度要快，理想情况是数据存入跟踪仓库后一分钟内就能统计出来。

ZipKin详解

应用背景

大型互联网公司为什么需要分布式跟踪系统？为了支撑日益增长的庞大业务量，我们会把服务进行整合、拆分，使我们的服务不仅能通过集群部署抵挡流量的冲击，又能根据业务在其上进行灵活的扩展。一次请求少则经过三四次服务调用完成，多则跨越几十个甚至是上百个服务点。如何动态展示服务的链路？如何分析服务链路的瓶颈并对其进行调优？如何快速进行服务链路的故障发现？这就是服务跟踪系统存在的目的和意义。

设计要点

对应用透明、低侵入
低开销、高稳定
可扩展
对于服务降级系统、分布式跟踪系统和业务监控系统等，这三点都是必须的

系统数据流主要分为三个步骤：采集、发送和落盘分析

详解Span

一条完整的服务链路由Span组成
Span一般包含以下字段

traceId: 全局跟踪id,用于标识属于同一服务链路
id: span的id,再traceId下唯一即可
parentId: 同一条链路上，有span有层级关系，类似xml, parentId用于标识父节点Span id
name: span的名称
timestamp: span创建的时间，用于体现采集的时间戳
duration: span的创建到采集结束所消耗的时间，即跟踪埋点服务调用的总耗时
annations: 基本标注列表，理解为span生命周期内重要时刻的快照，一般包含发生时刻（timestamp）、事件类型（value）、端点（endpoint）等信息

事件类型分类:

cs (客户端/消费者发起请求) customer send
cr (客户端/消费者接到应答) customer received
sr (服务端/生产者接收到请求) service received
ss (服务端/生产者发送应答) service send

binaryAnnotations
业务标注列表，如果某些跟踪埋点需要带上部分业务数据（比如url地址、返回码和异常信息等），可以将需要的数据以键值对的形式放入到这个字段中

传输库
Span由服务到Zipkin的收集器的传输库主要有3个：HTTP Kafka 和 Scribe

组成结构
主要有4部分组成

收集器
存储库
搜索引擎
UI界面

存储库
Zipkin内置的存储库为 Cassandra 。该库在twitter广泛使用。此处为插件化，在Cassandra基础上，推荐使用Elasticsearch和mysql。

搜索引擎
内部数据带有索引形式存储，搜索引擎提供了json api用于查找、分析tracer. WebUI是主要使用方。

WebUI
webUI用于更加具体形象的查询分析tracer.方便了zipkin的使用。该webUI内部是没有身份验证机制的。

权限访问

ZipKin的安装

最快的方式是获取最新的可执行jar包,下载地址如下：
https://search.maven.org/remote_content?g=io.zipkin.java&a=zipkin-server&v=LATEST&c=exec

或者Linux上执行如下命令：

curl -sSL https://zipkin.io/quickstart.sh | bash -s
java -jar zipkin.jar
注意点
Zipkin需要在 jre8 + 上执行
以上运行基于内存数据库，重启后数据消失，后面介绍将storage采用elasticsearch进行存储
集成库
针对java，封装了Brave 进行使用
权限访问UI
Zipkin登录认证
可以通过nginx请求转发增加认证

Centos环境：
安装nginx

yum install nginx
安装 htpasswd 命令
yum install httpd 
生成账号密码:
htpasswd -c /data/nginx/db/passwd.db elkadmin
-c 后面是生成的账号密码信息储存文件

Elasticsearch的安装

进入Elasticsearch官网(https://www.elastic.co/products/elasticsearch) ,点击右上角Download下载最新版
解压进入bin目录，./elasticsearch 进行front启动。
需要后台运行的话，执行： nohup ./elasticsearch >/dev/null 2>&1 &

Elasticsearch启动注意事项

Elasticsearch注意事项比较多。参考Elasticsearch注意事项文档

Zipkin与 Elasticsearch 结合启动

Linux上创建脚本

#!/bin/bash
QUERY_PORT=20510 STORAGE_TYPE=elasticsearch ES_HOSTS=http://172.17.20.231:9200 java -jar zipkin.jar
QUEYR_PORT 指定启动的端口
STORAGE_TYPE  制定存储类型
ES_HOSTS  指向elasticsearch服务