Golang 使用pprof
Golang 使用pprof
Golang 中监控代码性能的有两个包
- net/http/pprof
- runtime/pprof
pprof 的作用
pprof 是 Golang 语言中分析程序运行性能的工具，它能提供各种性能数据
| 类型 | 描述 |
|---|---|
| allocs | 内存分配情况的采样信息 |
| blocks | 阻塞操作情况的采样信息 |
| cmdline | 显示程序启动命令及参数 |
| goroutine | 当前所有协程的堆栈信 |
| heap | 堆上内存使用情况的采样信息 |
| mutex | 锁争用情况的采样信息 |
| profile | CPU 占用情况的采样信息 |
| threadcreate | 系统线程创建情况的采样信息 |
| trace | 程序运行跟踪信息 |
runtime/pprof 的用法示例
package main
import (
"flag"
"fmt"
"log"
"os"
"runtime/pprof"
)
var (
cpuprofile = flag.String("cpuprofile", "", "write cpu profile to file.")
)
func main() {
log.Println("begin")
flag.Parse()
if *cpuprofile != "" {
f, err := os.Create(*cpuprofile)
if err != nil {
log.Fatal(err)
}
pprof.StartCPUProfile(f)
defer pprof.StopCPUProfile()
}
for i := 0; i < 30; i++ {
nums := fibonacci(i)
fmt.Println(nums)
}
}
func fibonacci(num int) int {
if num < 2 {
return 1
}
return fibonacci(num-1) + fibonacci(num-2)
}
- go build -o fabonacci
- ./fabonacci --cpuprofile=fabonacci.prof
net/http/pprof
package main
import (
"fmt"
"net/http"
_ "net/http/pprof"
"os"
"time"
)
// 运行一段时间：fatal error: runtime: out of memory
func main() {
// 开启pprof
go func() {
ip := "0.0.0.0:6060"
if err := http.ListenAndServe(ip, nil); err != nil {
fmt.Printf("start pprof failed on %s\n", ip)
os.Exit(1)
}
}()
tick := time.Tick(time.Second / 100)
var buf []byte
for range tick {
buf = append(buf, make([]byte, 1024*1024)...)
}
}
pprof 包会自动注册 handler， 处理相关的请求：
func init() {
http.Handle("/debug/pprof/", http.HandlerFunc(Index))
http.Handle("/debug/pprof/cmdline", http.HandlerFunc(Cmdline))
http.Handle("/debug/pprof/profile", http.HandlerFunc(Profile))
http.Handle("/debug/pprof/symbol", http.HandlerFunc(Symbol))
http.Handle("/debug/pprof/trace", http.HandlerFunc(Trace))
}
启动服务后，直接在浏览器访问：
http://$HOST/debug/pprof/
单独查看:
- cpu（CPU Profiling）:
$HOST/debug/pprof/profile，默认进行 30s 的 CPU Profiling，得到一个分析用的 profile 文件 - block（Block Profiling）：
$HOST/debug/pprof/block，查看导致阻塞同步的堆栈跟踪 - goroutine：
$HOST/debug/pprof/goroutine，查看当前所有运行的 goroutines 堆栈跟踪 - heap（Memory Profiling）:
$HOST/debug/pprof/heap，查看活动对象的内存分配情况 - mutex（Mutex Profiling）：
$HOST/debug/pprof/mutex，查看导致互斥锁的竞争持有者的堆栈跟踪 - threadcreate：
$HOST/debug/pprof/threadcreate，查看创建新OS线程的堆栈跟踪
进入交互式模式之后，比较常用的有 top、 list、 web ,traces等命令
- top
(pprof) top
Showing nodes accounting for 1.55GB, 100% of 1.55GB total
Dropped 2 nodes (cum <= 0.01GB)
flat flat% sum% cum cum%
1.55GB 100% 100% 1.55GB 100% main.main
0 0% 100% 1.55GB 100% runtime.main
top会列出5个统计数据：
- flat: 本函数占用的内存量。
- flat%: 本函数内存占使用中内存总量的百分比
- sum%: 前面每一行flat百分比的和，比如第2行虽然的100% 是 100% + 0%
- cum: 是累计量，加入main函数调用了函数f，函数f占用的内存量，也会记进来
- cum%: 是累计量占总量的百分比
list
查看某个函数的代码，以及该函数每行代码的指标信息，如果函数名不明确，会进行模糊匹配，比如list main会列出main.main和runtime.main。
(pprof) list main.main
Total: 1.55GB
ROUTINE ======================== main.main in /home/dyc/data/projects/go/src/go-cn/main.go
1.55GB 1.55GB (flat, cum) 100% of Total
. . 20: }()
. . 21:
. . 22: tick := time.Tick(time.Second / 100)
. . 23: var buf []byte
. . 24: for range tick {
1.55GB 1.55GB 25: buf = append(buf, make([]byte, 1024*1024)...)
. . 26: }
. . 27:}
(pprof)
traces
打印所有调用栈，以及调用栈的指标信息
(pprof) traces
File: testp
Type: inuse_space
Time: Jan 6, 2020 at 12:49am (CST)
-----------+-------------------------------------------------------
bytes: 1.55GB
1.55GB main.main
runtime.main
-----------+-------------------------------------------------------
bytes: 1.24GB
0 main.main
runtime.main
-----------+-------------------------------------------------------
bytes: 1016.83MB
0 main.main
每个- - - - - 隔开的是一个调用栈，能看到runtime.main调用了main.main，并且main.main中占用了1.55GB内存
web
web命令就会在/tmp下生成svg文件，svg文件是可以在浏览器下看的
(pprof) web
在/tmp下生成 pprof001.svg,浏览器打开
golang pprof 能帮我们做什么
- 排查 CPU 占用过高: 使用CPU profile
- 排查内存占用过高:使用 Heap profiles
- 排查频繁内存回收：使用 Allocs profiles. GODEBUG=gctrace=1 ./binary | grep gc
- 排查协程泄露: 使用Goroutine profiles
- 排查锁的争用: 使用Mutex profiles
- 排查阻塞操作: 使用Block profiles
最后
- Package pprof
- profiling-go-programs
- golang pprof 实战
- go pprof 性能分析