Go pprof 性能分析工具 - 详细使用图解:

1、Go导入pprof包的选择及go版本要求:

  • 如果你是使用 net/http 包来构建web服务(有启动http服务),想查看服务运行的相关状态,就可以使用 net/http/pprof 包,导入方式:"_ net/http/pprof",匿名引用是为了执行其 init() 函数,只要其 init() 函数被执行,pprof 就会自动持续地监控我们的程序了。基本不需要主动在程序中调用代码采集和输出性能分析结果。
  • 但如果只是一个普通的单机程序,就只能使用原生的 "runtime/pprof" 了,需要主动在程序中调用代码采集和输出性能分析结果
  • 如果你是使用 github.com/gin-gonic/gin 包来构建web服务,想查看服务运行的相关状态,就需要使用 github.com/gin-contrib/pprof 包。本文是使用gin框架来构建web服务的,因此导入的是 "github.com/gin-contrib/pprof" 包。具体gin框架构建web服务示例可参考:GO Gin框架的Post/Get请求示例
  • go version >= 1.1
  • 由源码可知,基于 http 的 pprof 是在你页面请求 profile 时,它会临时采集一个时间区间(比如30秒)内的对应性能数据,如下图;而访问其他指标会立即返回。所以在采集数据时需要先压测,这样才会有数据。
    Go pprof 性能分析工具 - 详细使用图解:_第1张图片

2、pprof查看web服务原始状态数据

浏览器访问:http://localhost:8000/debug/pprof/,结果如图:
Go pprof 性能分析工具 - 详细使用图解:_第2张图片
注意:

  • 端口使用你自己web服务的监听端口号,例如我这里是:8000 端口
  • 采集前需要先压测,在压测过程中才会有数据被收集

3、go tool pprof 数据图形可视化

通过 pprof 得到的信息都是原始数据,阅读起来很费劲,我们可以通过 go tool pprof 命令来辅助查看以及将原始数据图形化的方式来展示。

  1. 下载安装可视化图形软件工具 graphviz :https://graphviz.org/download/。可自行选择Linux、Windows、Mac等对应版本,并且记得将该工具添加到系统环境变量中,否则会报错:failed to execute dot. Is Graphviz installed? Error: exec: "dot": executable file not found in %PATH% 。我这里下载的是windows-64位的版本。Go pprof 性能分析工具 - 详细使用图解:_第3张图片
    Go pprof 性能分析工具 - 详细使用图解:_第4张图片

  2. 采集前需要先压测,在压测过程中才会有数据被收集:

  • go-wrk 是一个用Go语言实现的轻量级的http基准测试工具,先下载压测go工具:go get github.com/adjust/go-wrk
  • go-wrk -c=400 -t=8 -n=100000 http://127.0.0.1:8000/api/getReq。400个连接,8个线程, 模拟10w次请求。具体可参考:通过go-wrk进行HTTP接口压力测试。

注意:压测试,wrk的命令行参数只能发送类似于 get、delete 这种不在请求体body中带参数的http请求。如果要发送 post 这类请求,必须要写Lua脚本。 具体可参考:wrk入门(2):发送post请求

go-wrk 压测结果如下图所示:Go pprof 性能分析工具 - 详细使用图解:_第5张图片

  1. 压测的同时采集数据,并生成 profile 数据分析-结果文件:
  • cpu概要文件(在默认情况下,Go语言的运行时系统会以100 Hz的的频率对CPU使用情况进行取样):go tool pprof http://127.0.0.1:8000/debug/pprof/profile
  • 内存概要文件(保存在用户程序执行期间的堆内存使用情况):go tool pprof http://127.0.0.1:8000/debug/pprof/heap
  • 程序阻塞概要文件(保存用户程序中的Goroutine阻塞事件的记录):go tool pprof http://127.0.0.1:8000/debug/pprof/goroutine
    Go pprof 性能分析工具 - 详细使用图解:_第6张图片
    注意:
  • 由提示可知,它是先将下载的原始数据保存在临时文件,然后再进一步去分析。比如图中所示的 pprof.samples.cpu.001.pb.gz
  • 记住关键点:不管哪种方式收集,一定是在服务正在被压测或者业务逻辑正在执行的同时启动收集 \color{blue}{记住关键点:不管哪种方式收集,一定是在 服务正在被压测 或者 业务逻辑正在执行的同时 启动收集} 记住关键点:不管哪种方式收集,一定是在服务正在被压测或者业务逻辑正在执行的同时启动收集;刚开始不熟悉流程,可能在服务都没有任何请求的时候就去收集,这是毫无意义的,也不会收集到明显的 profile 信息,可能就会像下面这样,啥数据都看不到:
    Go pprof 性能分析工具 - 详细使用图解:_第7张图片
  1. 然后会进入一个交互界面,列表中各参数代表含义如下:

flat:当前函数占用CPU的时间
flat%:当前函数占用CPU百分比
sum%:当前所有函数累加使用 CPU 的比例
cum:当前函数以及子函数占用CPU的时间
cum%:当前函数以及子函数占用CPU的百分比

另外交互界面常用命令如下:

help:命令可以提供所有pprof支持的命令说明
top 10:列出前10
web:调用 graphviz 生成svg图片并打开
list:查看具体的函数分析
pdf:命令可以生成可视化的pdf文件
tree:以树状显示
png:以图片格式输出
svg:生成浏览器可以识别的svg文件

pprof具体定位代码段示例:
此处可以通过终端交互方式来定位具体耗时较长的代码段,如下:

  1. top5 -cum:按 “当前函数以及子函数占用CPU的时间” 倒序排列
  2. list MyWebService/internal/app/yunapi.Router.func1:根据具体调用函数名来查找对应代码段。可以看到下方的 “无效循环” 是导致此处执行耗时较长的根因,所以可以针对性的做优化,比如去除 “无效循环”Go pprof 性能分析工具 - 详细使用图解:_第8张图片

示例:当输入 web 后,会自动生成.svg文件,并在浏览器中显示可视化图形分析,如图所示:Go pprof 性能分析工具 - 详细使用图解:_第9张图片
流程图中有不同被调函数运行时长所占百分比,同时方框越大对应CPU耗时越久。不过只是这样仍然很难去分析,还有更直观的方式 ~

  1. 退出命令行,复制上面步骤3图中 Saved profile 后面的文件名及路径,比如:C:\Users\xxx\pprof\pprof.samples.cpu.001.pb.gz

  2. 输入以下 go tool pprof xxx 命令,会自动打开浏览器图形可视化页面,包含火焰图等…(其中 -http=:8081,或 -http localhost:8081 会启动一个http服务,端口为8081,然后浏览器会弹出此结果文件的图示页面)

  • linux下:
    go tool pprof -http=:8081 ~/pprof/pprof.samples.cpu.001.pb.gz
  • windows下路径用双反斜杠表示:
    go tool pprof -http localhost:8081 C:\\Users\\xxx\\pprof\\pprof.samples.cpu.001.pb.gz
    在这里插入图片描述

Graph图示:
Go pprof 性能分析工具 - 详细使用图解:_第10张图片

火焰图:
Go pprof 性能分析工具 - 详细使用图解:_第11张图片   每个方块代表一个函数,它下面一层表示这个函数会调用哪些函数,方块的大小代表了使用 CPU 所占百分比。火焰图的配色并没有特殊的意义,默认的红、黄配色是为了更像火焰而已。

  另外,有时候我们通过其他途径得到了 pprof 文件,也可以通过它来分析使用 go tool pprof 应用程序 应用程序的prof文件 或者 go tool pprof prof 文件

4、pprof使用方法总结:

  • 采集前需要先进行压测,在压测过程中再去收集才会有数据
    • go-wrk -c=400 -t=8 -n=100000 http://127.0.0.1:8000/api/getReq。400个连接,8个线程, 模拟10w次请求(get请求支持直接写命令行的形式,post请求需要借助lua脚本,较复杂)。
  • 压测的同时采集数据,并生成 profile 数据分析-结果文件:
    • go tool pprof http://127.0.0.1:8000/debug/pprof/profile
  • 此时会进入一个交互界面,且生成了一个类似于 pprof.samples.cpu.001.pb.gz 的待分析文件。具体性能结果分析方法,一共有两种:
    • 通过 终端交互 (此方法无需借助上述文件来分析):
      • top10 -cum 找到对应cpu/内存占用高的函数名称(-cum:按 “当前函数以及子函数占用CPU的时间” 倒序排列)
      • list xxx(xxx:top10 中最后一列列出的具体被调用函数的名称)
    • 通过 可视化图形分析 (此方法需借助上述文件来分析):
      • 退出 pprof 命令行,复制上面步骤3图中 Saved profile 后面的文件名及路径,比如:C:\Users\xxx\pprof\pprof.samples.cpu.001.pb.gzGo pprof 性能分析工具 - 详细使用图解:_第12张图片
      • 输入以下 go tool pprof xxx 命令,会自动打开浏览器图形可视化页面,包含火焰图等…
        1. linux下:go tool pprof -http=:8081 ~/pprof/pprof.samples.cpu.001.pb.gz
        2. windows下路径用双反斜杠表示:go tool pprof -http localhost:8081 C:\\Users\\xxx\\pprof\\pprof.samples.cpu.001.pb.gz
      • 注意:待分析的 .pb.gz 文件和 文件路径 是你自己电脑上对应的路径,这里仅仅是我测试的示例而已,可能会有所不同
  • go tool pprof github markdown参考文档

你可能感兴趣的:(Golang,编程工具,golang,后端,性能分析,pprof)