Java应用在线debug--bistoury介绍
Bistoury介绍
Bistoury 是去哪儿网开源的一个对应用透明，无侵入的java应用诊断工具，用于提升开发人员的诊断效率和能力，可以让开发人员无需登录机器或修改系统，就可以从日志、内存、线程、类信息、调试、机器和系统属性等各个方面对应用进行诊断，提升开发人员诊断问题的效率和能力。
Bistoury 集成了Alibaba开源的arthas和唯品会开源的vjtools，因此arthas和vjtools相关功能都可以在Bistoury中使用。
Arthas和vjtools通过命令行或类似的方式使用，Bistoury在保留命令行界面的基础上，还对很多命令提供了图形化界面，方面用户使用。
Bistoury 英文解释是外科手术刀，含义也就不言而喻了。
通过命令行界面查看日志，使用arthas和vjtools的各项功能
在线debug，在线应用调试神器
线程级cpu监控，帮助你掌握线程级cpu使用率
在web界面查看JVM运行信息，以及各种其它信息
动态给方法添加监控
线程dump
Bistoury架构分析
Bistoury核心组件包含agent，proxy，ui：
- agent ： 与需要诊断的应用部署到一起，负责具体的诊断命令执行，通过域名连接proxy
- proxy：agent的代理，agent启动时会通过ws和proxy连接注册，proxy可以部署多个，推荐使用域名负载
- ui：ui提供图形化和命令行界面，接收从用户传来的命令，传递命令给proxy，接收从proxy传来的结果并展示给用户。
一次命令执行的数据流向为 ui -> proxy -> agent -> proxy -> ui
具体分析一下：
- proxy 先启动，将自己地址注册到zk
- agent通过域名访问proxy，随机分配到一个proxy，在proxy注册自己
- UI 访问一个具体的应用时，通过zk拿到所有的proxy，然后依次检查app对应的agent是否在该proxy，如果在，web网页连接这个proxy
- web上输入一个命令:web->proxy->agent->proxy->ui
具体参见 bistoury/design.md at master · qunarcorp/bistoury · GitHub
bistoury原理分析： https://www.jianshu.com/p/f7202e490156
总结下就是使用类似skywalking那样的agent技术，来监测和协助运行在JVM上的程序。
Bistoury快速开始
准备
- 目前仅支持linux环境，所以需要一个linux环境
- 本机已安装jdk1.8+，并且设置了JAVA_HOME环境变量，如果没有设置也可以在启动脚本中传递参数，详情建下文
- 本机9090，9091，9880，9881端口未被占用，这些端口会被Bistoury使用，如果已占用需要进行配置，详情见下文
- 本机已经启动一个待诊断java应用，如果是spring web应用不需要做处理，非spring web应用需要配置启动脚本的-c参数，详情见下文
获取快速部署包
官方有一个快速开始文档： bistoury/quick_start.md at master · qunarcorp/bistoury · GitHub
可以下载release包快速启动，就可以体验了。
首先我们将快速启动包 bistoury-quick-start.tar.gz 拷贝到想要安装的位置。
然后解压启动包：
tar -zxvf bistoury-quick-start.tar.gz
cd bistoury
最后是启动 Bistoury，因为 Bistoury 会用到 jstack 等操作，为了保证所有功能可用，需要使用和待诊断 JAVA 应用相同的用户启动。
假设应用进程 id 为 1024
- 如果应用以本人用户启动，可以直接运行
./quick_start.sh -p 1024 start
- 如果应用以其它帐号启动，比如 tom，需要指定一下用户然后运行
sudo -u tom ./quick_start.sh -p 1024 start
- 停止运行
./quick_start.sh stop
访问
可以通过http://ip:9091来对ui进行访问，比如部署的机器ip为127.0.0.1，则可以通过http://127.0.0.1:9091/访问，初始化用户名密码均为admin
在线debug使用说明
Bistoury实现了在线Debug功能，它模拟了ide的调试体验，可以直接在代码上添加断点，甚至还支持条件断点。
- 在线debug在使用，功能上和远程调试，或者说你在ide上debug本地代码几乎一致。你在代码某一行打一个断点，断点触发就能看到本地变量、成员变量、静态变量以及调用栈
- 远程调试需要系统启动时就带上调试相关参数，线上应用启动时不可能默认打开调试功能，不说去加上参数然后重启系统的麻烦，重启后你想找的问题可能已经没法复现了；而在线debug不需要应用做任何操作
- 远程调试的断点触发后整个系统会暂停，线上应用这么操作很可能会导致故障；在线debug触发断点后只打印快照信息，打印完后继续执行代码逻辑，不影响系统的运行
使用步骤
-
进入在线debug页面，初次使用时请先点击下方链接设置gitlab private token，若不设置，则添加断点时的代码将会通过反编译产生。目前仅支持gitlab，点击输入框下方对应链接获取，然后点击保存设置private token
-
选择需要调试的应用名，再选择需要调试的机器，然后点击【debug】按钮，进入已加载类列表。
- 找到需要调试的类(支持搜索)，点击【调试】按钮进入调试页面。类列表是在attach时获取的应用已加载的类。
- 如果在attach之后有新的类加载(有时在列表中找不到自己想要的类，可能就是你要的类是在attach之后再加载的)，可以通过点击【重新加载】加载按钮对列表进行重新加载。刷新按钮只会重新请求列表，不会重新加载
- 选择“只加载新加载的类”只会加载应用中新加载的类；
- 选择“全部加载”会把整个列表重新加载一遍。
- 找到需要调试的那行代码，点击前方的行号标记设置断点
线程级cpu监控
在系统的日常运维中，我们有时会碰到cpu使用率突然飙高的情况。这个时候我们会登录机器，top查看进程id，top -h查看消耗cpu的线程id，然后jstack看看对应的线程是哪一个，最后再进行具体分析。 暂且不考虑这一系列操作需要的时间，我们收到报警的时候可能正在公司外吃饭，或是正在睡觉，而等我们做好准备登录上机器时问题已经结束了，现场没了，我们还能做的就只是看着机器的cpu监控图一脸茫然…
当遇到这些情况时，你会发现你需要的是线程级cpu使用率监控帮你指出问题线程，而不是传统的机器cpu使用率监控让你只能看着监控图一脸懵逼。
Bistoury就是你需要的那一个！我们提供了线程级的cpu使用率监控，它在本地保存了最近三天的线程级监控数据，还对每个线程每一分钟提供一个瞬时的线程调用栈。
使用
- 进入主机信息页面
- 选择需要查看的应用、机器
- 点击 【线程级cpu监控】
线程级cpu监控主要分为两个区域，区域一是线程数量和cpu占比的折线图，区域二是线程完整信息。
区域一
可以单独查看某一线程的cpu占比，也可以查看不同时间的cpu占比(支持最近三天)，点击某一时间对应的点，可以在区域二展示具体的线程信息。
区域二
可以按照线程名、线程调用栈、线程状态对线程进行筛选，其中每分钟cpu占用率是该分钟内cpu使用占比，瞬时cpu使用占比，是指抓取数据时cpu瞬时cpu使用率占比。
动态监控
有时候我们需要对系统的某个方法添加一个监控看看系统运行情况，但经历一次修改代码、qa检查、重新发布的流程又感觉不划算，这就是动态监控大显身手的时候了。 动态监控类似于Arthas的monitor方法，会对方法的执行时间、调用次数、失败次数进行监控，不同之处在于会生成对应的监控图，保留最近几天的数据，并且提供了web界面，通过类似添加断点的方式来添加监控。
注意： 监控会使用部分应用程序内存，建议内存较小的应用不要添加过多的动态监控。
监控生命周期
动态监控添加的指标生命周期与应用的的生命周期基本一致，从添加开始一直到应用停止，监控回一直采集监控数据。并存储最近三天的历史数据。
使用
- 进入动态监控页面，初次使用时请先点击下方链接设置gitlab private token，若不设置，则添加断点时的代码将会通过反编译产生。目前仅支持gitlab，点击输入框下方对应链接获取，然后点击保存设置private token。
- 选择需要添加监控的应用名，再选择需要在哪台机器上添加监控，然后点击【选择】按钮，进入已加载类列表
- 找到需要添加的类(支持搜索)，点击【监控】按钮进入监控页面。类列表是在attach时获取的应用已加载的类。
- 如果在attach之后有新的类加载(有时在列表中找不到自己想要的类，可能就是你要的类是在attach之后再加载的)，可以通过点击【重新加载】加载按钮对列表进行重新加载。刷新按钮只会重新请求列表，不会重新加载。
- 选择“只加载新加载的类”只会加载应用中新加载的类；
- 选择“全部加载”会把整个列表重新加载一遍。
- 找到需要添加监控的方法，在其中任意语句添加标记，点击前方的行号标记所在行。
- 在监控首页可以选择应用及机器后可以查看监控数据
应用中心
在前面说过，Bistoury不仅仅可以从机器的维度，还可以从应用的维度对系统进行诊断。
应用是什么
我们知道，在线系统往往部署在多台机器上，应用就是与系统相关的这些机器以及所使用到的资源的一个集合。
应用中心就是用来管理应用信息的一个东西，而Bistoury需要从应用中心获取应用与机器、应用与人等各种信息。
Bistoury在ui内部集成了一个简单的应用中心，如果公司内部有自己的应用中心，应该实现bistoury-application-api模块中的接口接入自己的应用中心。
功能说明
应用中心主要职责如下：
- 人/应用/服务器之间的关系
- 应用/服务器的信息
使用说明
- 点击【应用中心】进入应用中心页面，这里会展示当前登录用户的所有应用
- 点击【新增】可以新增一个应用，新增应用时会默认将当前登录用户添加到应用负责人中.
- 点击【管理】可以对应用信息进行管理，可以修改应用信息
- 点击【服务器管理】tab也可以对当前应用的服务器信息进行管理，点击列表中的开关可以对线程级cpu监控等功能进行管理
- 点击新增按钮可以新增服务器，管理按钮可以对服务器信息进行管理。其中端口号用于agent与应用进行连接，日志目录用于查看日志