用火焰图可以分析占用 cpu 资源时间,火焰图介绍。结合 honest-profiler 可以分析出 JVM 各函数占用资源的情况。
主要步骤
1. 使用 honest-profiler 工具生成 hpl 文件;
2. 解析 hpl 文件生成 txt 文件;
3. 使用 hprof2flamegraph 将 txt 转化为 svg 火焰图文件;
下载 honest-profiler.zip 或者源文件手动编译。
注意,手动编译 cmake 请使用 2.9 版本以上。
启动 JVM 时添加 Agent 参数,其中 liblagent.so 文件为 honest-profiler 项目编译生成,在 honest-profiler.zip 中。interval 指定采样频率,logPath 指定 hpl 文件路径。
java -agentpath:/path/to/location/liblagent.so=interval=7,logPath=/path/to/output/log.hpl
示例
java -agentpath:~/lib/honest-profiler/liblagent.so=interval=7,logPath=~/tmp/log.hpl,start=1 -cp ~/jars/test.jar com.sun.abner.test.JavaTest
使用 dump-flamegraph 脚本解析 hpl 文件,该脚本为 honest-profiler 项目编译生成,在 honest-profiler.zip 中。
./dump-flamegraph [hpl_file] [txt_file]
这个脚本其实是执行了 Java 代码,main 函数在 com.insightfullogic.honest_profiler.ports.console.FlameGraphDumperApplication 类,有兴趣可以看看。
使用 hprof2flamegraph 工具生成 svg 文件,直接 clone 项目,结合 perl 命令执行项目目录下脚本 flamegraph.pl
perl ./hprof2flamegraph/flamegraph.pl [txt_file] > [svg_file]
svg 文件用浏览器打开即可,示例
spark 提交时添加参数 --driver-java-options
或者 spark.driver.extraJavaOptions
, spark.executor.extraJavaOptions
,示例
spark-submit --driver-java-options -agentpath:/usr/lib/honest-profiler/liblagent.so=interval=7,logPath=~/tmp/log.hpl,start=1
spark-submit --conf spark.driver.extraJavaOptions=-agentpath:/usr/lib/honest-profiler/liblagent.so=interval=7,logPath=~/tmp/log.hpl,start=1 --conf spark.executor.extraJavaOptions=-agentpath:/usr/lib/honest-profiler/liblagent.so=interval=7,logPath=~/tmp/log.hpl,start=1
或者
添加配置文件 ./spark/conf/spark-defaults.conf
参数spark.driver.extraJavaOptions
, spark.executor.extraJavaOptions
,示例
spark.driver.extraJavaOptions -agentpath:/usr/lib/honest-profiler/liblagent.so=interval=7,logPath=/tmp/log.hpl,start=1
spark.executor.extraJavaOptions -agentpath:/usr/lib/honest-profiler/liblagent.so=interval=7,logPath=/tmp/log.hpl,start=1
http://www.ruanyifeng.com/blog/2017/09/flame-graph.html
http://blog.csdn.net/c395318621/article/details/55224665