perf + perf-agent-map+bindfs +flamescope生成java docker 火焰图

以下是一个集成各种工具，生成java docker应用火焰图的尝试，还是有缺陷的，更好的方式还是使用async-profiler（简单，全家桶）

环境预备

• docker&&bindfs安装
  这个可以参考相关文档，比较简单，yum 就可以
• perf-agent-map 安装
  这个需要构建，使用了支持docker 的版本https://github.com/chbatey/perf-map-agent
  构建

  代码在 / 目录

 

git clone  https://github.com/chbatey/perf-map-agent.git   

cd   perf-map-agent

cmake .

make

• flamescope 环境

version: "3"

services: 

  flamescope:

     image: dalongrong/flamescope

     ports: 

     - "5000:5000"

     volumes: 

     - "./profiles:/profiles"

• 容器运行
  一个tomcat 应用，添加了perf-map 挂载

 

docker run -d  -p 8080:8080  -v /perf-map:/perf-map -e JAVA_OPTS='-XX:NativeMemoryTracking=summary -XX:+UnlockDiagnosticVMOptions -XX:+AlwaysPreTouch -XX:+UseG1GC -XX:+PrintGC -XX:+PrintGCDateStamps -XX:+PreserveFramePointer -XX:+PrintGCTimeStamps -XX:+PrintGC -XX:+UnlockDiagnosticVMOptions -XX:+ShowHiddenFrames' tomcat

• 挂载容器文件系统
  查看tomcat 的pid，查看

 

docker inspect <containerid> 

参考如下：

docker inspect ed041189bb1b

[

    {

        "Id": "ed041189bb1badbac2462c2855ccaf2b58d21b03904e20e9242fa017010a89ab",

        "Created": "2019-12-24T14:41:13.44200869Z",

        "Path": "catalina.sh",

        "Args": [

            "run"

        ],

        "State": {

            "Status": "running",

            "Running": true,

            "Paused": false,

            "Restarting": false,

            "OOMKilled": false,

            "Dead": false,

            "Pid": 8317,

 

 

挂载

mkdir  -p /opt/mytomcat-perf/

bindfs /proc/8317/root  /opt/mytomcat-perf

• 运行perf

  支持cgroup 的信息获取

perf record -F 99 -e cpu-clock -e syscalls:* --cgroup=docker/ed041189bb1badbac2462c2855ccaf2b58d21b03904e20e9242fa017010a89ab -ag dwarf -- sleep 120

• 简单压测

ab -n 2000 -c 200 http://127.0.0.1:8080/

• 生成jvm jit perf map 信息

./docker-create-java-perf-map.sh ed041189bb1b 8317

效果

+ container=ed041189bb1b

+ host_pid=8317

++ docker exec ed041189bb1b jps

++ grep -v Jps

++ cut -f 1 -d ' '

+ container_pid=1

+ echo 'Container PID: 1'

Container PID: 1

+ sudo rm -rf /tmp/perf-8317.map

+ docker exec ed041189bb1b /perf-map/bin/create-java-perf-map.sh 1

+ docker exec ed041189bb1b cat /tmp/perf-1.map --

+ sudo chown root:root /tmp/perf-8317.map

 

• 生成报告

perf script --symfs=/opt/mytomcat-perf --kallsyms=/proc/kallsyms > mytomcat-agent-pef

• flamescope 查看信息

  需要先启动

效果

 

 

查看火焰图

 

 

说明

通过以上比较多的工具，出来了火焰图，但是还是稍有复杂，使用async-profiler 会简单点,文章写的也比较简单，后边还需要仔细研究下

参考资料

https://github.com/chbatey/perf-map-agent
https://github.com/jvm-profiling-tools/async-profiler
https://github.com/jvm-profiling-tools/perf-map-agent
https://github.com/mpartel/bindfs
https://github.com/Netflix/flamescope
http://www.brendangregg.com/linuxperf.html