日志收集和链路追踪:skywalking

如果能跟踪每个请求,中间请求经过哪些微服务,请求耗时,网络延迟,业务逻辑耗时等。我们就能更好地分析系统瓶颈、解决系统问题,因此链路跟踪很重要。

想在无代码入侵前提下实现:
查看服务之间链路调用关系;
把各个微服务分散的日志收集起来;
监控分析系统情况;
用SkyWalking吧,它不会让你失望。

skywalking介绍

国人开源的产品,主要开发人员来自于华为,2019年SkyWalking加入Apache成为顶级项目,支持Java、.Net、NodeJs等探针,数据存储支持h2、Mysql、Elasticsearch等。采用字节码注入的方式实现无代码侵入,功能全面,性能优秀,且对云原生支持,目前增长势头强劲,社区活跃,其链路追踪,性能监控,日志收集、告警等功能被开发者广泛使用,遗憾中文文档很少,使用不便。
介绍参考:https://www.jianshu.com/p/ffa...
官网:https://skywalking.apache.org
github:https://github.com/apache/sky...
中文文档:https://skyapm.github.io/docu...

前言

网上很多文档不全,踩了很多坑。
本指南为单机安装,安装的系统为centos7.6。
确保服务器通外网。
安装涉及到的版本:
存储 :elasticsearch 7.10.2
服务端:skywalking-oap-server 8.9.0
前端界面:skywalking-ui 8.9.0
探针:skywalking-agent 8.9.0
不建议太低版本,功能不全。

1. 安装

这里介绍单价压缩包安装和单机docker安装

1.1 单机压缩包安装

1.1.1 下载

地址: http://skywalking.apache.org/... 或 https://archive.apache.org/di...

1.1.2 解压

tar -zxvf apache-skywalking-apm-8.9.0.tar.gz

1.1.3 修改配置

确保如下端口可用:
11800:和Skywalking通信的gRPC端口;12800:和Skywalking通信的HTTP端口;8080:UI所占用的端口 。
如果端口被占用,在它的config目录下,编辑它的配置文件 application.yml ,修改端口。
配置详解:https://blog.csdn.net/lizz861...

1.1.4 关于存储

建议用elasticsearch ,安装方法请自行搜索。

1.1.5 启动

进入它的bin目录下,sh startup.sh 即可。
访问 http://ip:8080 看到页面成功。

1.2 单机docker-compose安装

确保系统已经安装docker和docker-compose。

1.2.1 创建目录

创建目录:mkdir /home/elasticsearch/data
这个目录是存放es数据的地方,不一定是home下,只不过我的home下存储空间较多,建议你也放到存储空间较大的目录下,但是千万记得要同步修改下面skywalking-docker-compose_3.3.yaml文件中的路径(下图标红的)。
11.jpg

1.2.2 配置文件

下载地址:https://pan.baidu.com/s/1rlfk...
或者自己编写:
mkdir /usr/local/skywalking
cd /usr/local/skywalking
vim skywalking-docker-compose_3.3.yaml
复制粘贴以下内容

version: '3.3'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
    container_name: elasticsearch
    restart: always
    ports:
      - 9200:9200
    environment:
      - "discovery.type=single-node" #单机模式启动
      - "TZ=Asia/Shanghai" # 设置时区
      - "bootstrap.memory_lock=true" #锁定物理内存地址,防止es内存被交换出去,也就是避免es使用swap交换分区,频繁的交换,会导致IOPS变高
      - "ES_JAVA_OPTS=-Xms1024m -Xmx1024m" # 设置jvm内存大小
    volumes:
      - /home/elasticsearch/data:/usr/share/elasticsearch/data
    ulimits:
      memlock:
        soft: -1
        hard: -1
  skywalking-oap-server:
    image: apache/skywalking-oap-server:8.9.0
    container_name: skywalking-oap-server
    depends_on:
      - elasticsearch
    links:
      - elasticsearch
    restart: always
    ports:
      - 11800:11800
      - 12800:12800
    environment:
      SW_CORE_RECORD_DATA_TTL: 7 #记录数据的有效期,单位天
      SW_CORE_METRICS_DATA_TTL: 7 #分析指标数据的有效期,单位天
      SW_STORAGE: elasticsearch  #指定存储为es,此参数可以传到skywalking中的配置
      SW_STORAGE_ES_CLUSTER_NODES: elasticsearch:9200 #指定es服务端口
      TZ: Asia/Shanghai
  skywalking-ui:
    image: apache/skywalking-ui:8.9.0
    container_name: skywalking-ui
    depends_on:
      - skywalking-oap-server
    links:
      - skywalking-oap-server
    restart: always
    ports:
      - 8080:8080
    environment:
      SW_OAP_ADDRESS: http://skywalking-oap-server:12800
      TZ: Asia/Shanghai

1.2.3 启动

在上面配置文件同级目录下执行命令:
docker-compose -f skywalking-docker-compose_3.3.yaml up -d
等待几分钟出现下面提示说明成功
*Starting elasticsearch ... done
Recreating skywalking-oap-server ... done
Recreating skywalking-ui ... done*

1.2.4 访问

http://ip:8080
第一次启动页面加载较慢,等待1-3分钟,出现如下界面,说明成功。
12.jpg

1.2.5 注意事项

1、skywalking-docker-compose_3.3.yaml配置文件中的 端口都是可以修改的,如果默认端口有冲突,请修改端口,并且确认新端口可用。
2、如果http://ip:8080无法访问,大概率是端口问题,可以先telnet一下,然后检查自己的服务器是否有防火墙,是否没开放端口,或者有其他网络限制。
3、如果http://ip:8080可以访问,但是展示不全,请等待1-3分钟,如果还是显示不全,可能是后端或者es不通,请检查/home/elasticsearch/data目录是否有足够的权限,确保es对此目录有读写权限,否则会出现未知异常。另外其他自己有定义或者映射的目录也要有足够权限。
4、数据保存时间
SW_CORE_RECORD_DATA_TTL: 7 #记录数据的有效期,单位天
SW_CORE_METRICS_DATA_TTL: 7 #分析指标数据的有效期,单位天
根据自己的实际需求修改,重启后生效。
5、命令
停止:docker-compose -f skywalking-docker-compose_3.3.yaml stop
启动:docker-compose -f skywalking-docker-compose_3.3.yaml up -d

2. 使用

在上面服务端安装好了以后,还需要客户端结合探针skywalking-agent才能产生数据。
有数据效果如下图:
18.jpg

先下载探针并解压:https://archive.apache.org/di...
下载8.9.0版本跟服务端版本要保持一直。
13.jpg

这里介绍关于Java探针使用三种常用方式
不管哪种方式都需要在你的启动指令中加入以下内容:

-javaagent:你的探针绝对路径\skywalking-agent.jar -Dskywalking.agent.service_name=你的服务名称 -Dskywalking.collector.backend_service=ip:11800

注意:你自己的服务jar包一定要放到最后;ip端口是你的skywalking后台上传数据的ip端口;其中的skywalking-agent.jar路径,服务名,ip端口都要以你的实际为准(下图标红的)。
16.jpg

2.1 方式一:IDEA使用探针

idea中配置示例:
15.jpg

2.2 方式二:jar包方式使用探针

用java -jar或者nohup或者用脚本启动,示例:
java -javaagent:/home/skywalking/skywalking-agent/skywalking-agent.jar -Dskywalking.agent.service_name=admin -Dskywalking.collector.backend_service=192.168.99:11800 -jar admin.jar &

2.3 方式三:docker方式使用探针

修改你的Dockerfile文件,
加入两行:
COPY skywalking-agent /usr/local/agent
"java -javaagent:/usr/local/agent/skywalking-agent.jar -Dskywalking.agent.service_name=admin -Dskywalking.collector.backend_service=172.17.0.1:11800
这里有几点注意:
1.docker COPY只能复制同级目录下的文件,所以,一定要把探针放到Dockerfile所在目录下。
2.skywalking-agent一定是整个文件夹里,不仅仅是skywalking-agent.jar。
3.-javaagent:后的路径为docker容器的内部路径。
4.-Dskywalking.collector.backend_service后的ip 有几种情况:
17.jpg
容器部署的,比如docker,127.0.0.1只是容器内有效,不能代表宿主机本机,所以即使在同一台机器也不能写127.0.0.1,可以试试,是不通的。
172.17.0.1这个ip是docker默认虚拟网卡的网关ip,通过这个ip,请求可以达到宿主机,当然写实际的物理ip也是可以的,但是考虑到很多项目是交付性的,skywalking的地址总是不同,都要改挺麻烦的,写172.17.0.1就通用了,前提是在同一台机器哦。

3. 结尾

  1. 上面涉及到skywalking的一些配置,都是通过传参的方式,其实在skywalking和探针文件夹下面的配置文件都是修改的,但是比较死板,不灵活。具体操作可以自行搜索文档,这里不再赘述。
  2. skywalking收集数据是异步的,不用担心影响自己服务性能,skywalking占用资源很小,单机性能很强,放心使用,如果单机不能满足,可以考虑集群方式,比如部署几台skywalking然后通过haproxy代理,配置放在nacos等,具体请自行搜索方案。
  3. skywalking-agent的目录下,optional-plugins是可选追踪插件,plugins是默认追踪插件,如果觉得默认的不够,没有涵盖到自己想要追踪的,可以复制optional-plugins里面的增加到plugins,当然觉得有些不想看到也可以减少插件,里面的jar基本上都能见名知意,改变后,客户端服务重启生效。
    19.jpg

同时需要做日志追踪请看这里:
https://segmentfault.com/a/11...

你可能感兴趣的:(日志收集和链路追踪:skywalking)