开启 GODEBUG 更直观地理解 Go 程序的调度过程

得益于 Go 语言优秀的运行时调度系统，即使开发人员没有多线程编程经验，也能很容易地开发并发程序。

调度系统，其中最核心的就是 GMP 的设计，欲深入理解 Go 语言设计的读者都应该看过这些知识。但是，在通过相关博客或者源码学习时，如果不能和实际的代码进行结合，在理解上或许不够深刻。

本文介绍一种方式，即使用 GODEBUG 工具，通过实际运行代码来直观地查看 Go 运行时的调度过程。

调度简述

首先，我们先通过程序某时刻的调度快照示意图，通过解析快照状态来简单回顾一下 Go 调度系统。

如上图所示，我们设定了 GOMAXPROCS=2，即 2 个处理器。

当前时刻， P0 和 P1 上正分别挂载着 OS 线程 M1 与 M4，其上分别执行着 G8 和 G17 的代码。P0 的 LRQ（Local Run Queue，本地运行队列）有 3 个 G 在排队等待，而 P1 的 LRQ 已无等待的 G；GRQ （Global Run Queue，全局运行队列）中有 5 个 G 。

网络轮询器 Net Poller 上有一个陷入异步网络调用的 G9；M2 由于 G11 的某种同步系统调用而阻塞；M3 处于空闲状态，时刻准备着当 M1 或 M4 被阻塞时而派上用场。

由于 P1 的 LRQ 已无等待的 G，当 G17 被调度时，它将进行 Wrok Stealing （任务窃取），其窃取源来自于其他处理器 P 的 LRQ（这里是 P0 的 LRQ）、GRQ 和 Net Poller，具体规则见runtime.schedule()函数。

GODEBUG 工具

启用 GODEBUG 工具非常简单，只需要设置环境变量 GODEBUG 即可。它可以让 Go 程序在运行过程中输出调试信息，能够根据参数配置直观地看到调度器或垃圾回收等详细信息。

GODEBUG 的详细描述介绍可见源码runtime/extern.go文件。

本文我们关心的调试内容是调度器，因此我们只使用 GODEBUG 的两个参数 schedtrace 与 scheddetail。

• schedtrace=n：设置运行时在每 n 毫秒输出一行调度器的概要信息。

• scheddetail: 输出更详细的调度信息。

示例代码

我们使用的示例代码如下

package main

import (
 "sync"
)

var wg sync.WaitGroup

func main() {
 for i := 0; i < 20; i++ {
  wg.Add(1)
  go work(&wg)
 }
 wg.Wait()
}

func work(wg *sync.WaitGroup) {
 var counter int
 for i := 0; i < 1e10; i++ {
  counter++
 }
 wg.Done()
}

代码比较简单，我们启动 20 个 CPU 密集型的 G 任务，它们受到 WaitGroup 的限制。当所有计算任务的 G 完成了各自的累加工作，程序才会结束执行。

schedtrace 调度概要输出

下面，我们设定 GODEBUG=schedtrace=1000，这意味着 1s 输出一次程序的调度概要情况。

$ go build -o demo main.go
 $ GOMAXPROCS=4 GODEBUG=schedtrace=1000 ./demo
SCHED 0ms: gomaxprocs=4 idleprocs=3 threads=2 spinningthreads=0 idlethreads=0 runqueue=0 [0 0 0 0]
SCHED 1003ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=14 [1 0 1 0]
SCHED 2012ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=10 [2 1 2 1]
SCHED 3018ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=12 [0 0 0 4]
SCHED 4029ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=15 [0 0 1 0]
SCHED 5031ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=9 [1 2 2 2]
SCHED 6035ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=15 [0 1 0 0]
SCHED 7044ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=8 [1 2 3 2]
SCHED 8054ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=12 [0 0 4 0]
SCHED 9055ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=6 [3 2 3 2]
SCHED 10063ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=11 [1 2 1 1]
SCHED 11072ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=6 [3 2 3 2]
...

其中，

• SCHED：代表程序启动到输出当前行时的运行时间，这个输出间隔受到 schedtrace 值影响。

• gomaxprocs：GOMAXPROCS 值，这里我们设定了其为 4。

• idleprocs：空闲的 P 数量。

• threads：运行时管理的线程数。

• spinningthreads：自旋线程，处于”自旋“状态的线程数（避免频繁的线程创建与销毁）。

• idlethreads：空闲线程数。

• runqueue：全局队列 GRQ 中的 G 数量。

• [2 1 2 1]：代表 4 个 P 的本地队列 LRQ 中 G 数量分别是 2、1、2、1 。

scheddetail 调度详细输出

当我们想要查看更详细的调度信息时，需要增加 scheddetail 参数。

$ GOMAXPROCS=4 GODEBUG=schedtrace=1000,scheddetail=1 ./demo
SCHED 0ms: gomaxprocs=4 idleprocs=2 threads=3 spinningthreads=1 idlethreads=0 runqueue=0 gcwaiting=0 nmidlelocked=0 stopwait=0 sysmonwait=0
  P0: status=1 schedtick=0 syscalltick=0 m=0 runqsize=0 gfreecnt=0 timerslen=0
  P1: status=1 schedtick=0 syscalltick=0 m=2 runqsize=0 gfreecnt=0 timerslen=0
  P2: status=0 schedtick=0 syscalltick=0 m=-1 runqsize=0 gfreecnt=0 timerslen=0
  P3: status=0 schedtick=0 syscalltick=0 m=-1 runqsize=0 gfreecnt=0 timerslen=0
  M2: p=1 curg=-1 mallocing=0 throwing=0 preemptoff= locks=2 dying=0 spinning=false blocked=false lockedg=-1
  M1: p=-1 curg=-1 mallocing=0 throwing=0 preemptoff= locks=2 dying=0 spinning=false blocked=false lockedg=-1
  M0: p=0 curg=-1 mallocing=0 throwing=0 preemptoff= locks=1 dying=0 spinning=false blocked=false lockedg=1
  G1: status=1() m=-1 lockedm=0
  G2: status=1() m=-1 lockedm=-1
  G3: status=1() m=-1 lockedm=-1
SCHED 1000ms: gomaxprocs=4 idleprocs=0 threads=5 spinningthreads=0 idlethreads=0 runqueue=15 gcwaiting=0 nmidlelocked=0 stopwait=0 sysmonwait=0
  P0: status=1 schedtick=45 syscalltick=0 m=2 runqsize=0 gfreecnt=0 timerslen=0
  P1: status=1 schedtick=46 syscalltick=0 m=3 runqsize=0 gfreecnt=0 timerslen=0
  P2: status=1 schedtick=45 syscalltick=0 m=4 runqsize=1 gfreecnt=0 timerslen=0
  P3: status=1 schedtick=45 syscalltick=0 m=0 runqsize=0 gfreecnt=0 timerslen=0
  M4: p=2 curg=-1 mallocing=0 throwing=0 preemptoff= locks=1 dying=0 spinning=false blocked=false lockedg=-1
  M3: p=1 curg=-1 mallocing=0 throwing=0 preemptoff= locks=1 dying=0 spinning=false blocked=false lockedg=-1
  M2: p=0 curg=40 mallocing=0 throwing=0 preemptoff= locks=0 dying=0 spinning=false blocked=false lockedg=-1
  M1: p=-1 curg=-1 mallocing=0 throwing=0 preemptoff= locks=2 dying=0 spinning=false blocked=false lockedg=-1
  M0: p=3 curg=-1 mallocing=0 throwing=0 preemptoff= locks=1 dying=0 spinning=false blocked=false lockedg=-1
  G1: status=4(semacquire) m=-1 lockedm=-1
  G2: status=4(force gc (idle)) m=-1 lockedm=-1
  G3: status=4(GC sweep wait) m=-1 lockedm=-1
  G17: status=4(GC scavenge wait) m=-1 lockedm=-1
  G33: status=1() m=-1 lockedm=-1
  G34: status=1() m=-1 lockedm=-1
  G35: status=1() m=-1 lockedm=-1
  G36: status=1() m=-1 lockedm=-1
  G37: status=1() m=-1 lockedm=-1
  G38: status=1() m=-1 lockedm=-1
  G39: status=1() m=-1 lockedm=-1
  G40: status=2() m=2 lockedm=-1
  G41: status=1() m=-1 lockedm=-1
  G42: status=1() m=-1 lockedm=-1
  G43: status=1() m=-1 lockedm=-1
  G44: status=1() m=-1 lockedm=-1
  G45: status=1() m=-1 lockedm=-1
  G46: status=1() m=-1 lockedm=-1
  G47: status=1() m=-1 lockedm=-1
  G48: status=1() m=-1 lockedm=-1
  G49: status=1() m=-1 lockedm=-1
  G50: status=1() m=-1 lockedm=-1
  G51: status=1() m=-1 lockedm=-1
  G52: status=1() m=-1 lockedm=-1
...

当增加了 scheddetail 参数后，其输出信息不仅包含了 SCHED 的一行概览信息，还增加了 GPM 三个实体状况的详细描述。

P

• status：P 的运行状态，其详细分类与描述可查看源码 runtime/runtime2.go 的代码。

• schedtick：随着每次调度行为累加，代表 P 的调度次数。

• syscalltick：随着每次系统调用行为累加，代表 P 的系统调用次数。

• m: 绑定的 M 编号，例如在 SCHED 1000ms 时，P0 的 m=2，而 M2 的 p=0。

• runqsize：LRQ 的 G 数量。

• gfreecnt：状态为 Gdead 的数量，即 status = 6。

• timerslen：timer 的数量。

M

• p：绑定的 P 编号。

• curg：当前正在 M 上执行代码的 G 编号。

• mallocing：是否正存在分配内存操作。

• throwing：是否有抛出异常。

• preemptoff：如果 preemptoff != ""，则保持 curg 在这个 M 上运行。

• locks：M 的 locks 数量。

• dying：M 的 dying 值，其存在 0、1、2 和其他值四种处理情况。

• spinning：是否处于自选状态。

• blocked：是否处于阻塞状态。

• lockedg：与 G 的 lockedm 相对应，它们的类型是 uintptr，记录不被垃圾收集器跟踪的 M 与绕过写屏障的 G。

G

• status: 同 P 的状态类似，其详细分类与描述同样可查看源码 runtime/runtime2.go 的代码；if status==Gwaiting ，即 status 的值为 4 时，其括号内还会输出具体的等待原因。

• m：绑定的 M 编号，如果其值为 -1，代表无绑定。

• lockedm：与 M 中的 lockedg 对应。

可视化调度快照

明白了上述各项指标的含义之后。为了绘图简单，我们将 GOMAXPROCS 设定为2，并选取第 1 秒的输出内容进行可视化分析。

$ GOMAXPROCS=2 GODEBUG=schedtrace=1000,scheddetail=1 ./demo
...
SCHED 1004ms: gomaxprocs=2 idleprocs=0 threads=4 spinningthreads=0 idlethreads=1 runqueue=10 gcwaiting=0 nmidlelocked=0 stopwait=0 sysmonwait=0
  P0: status=1 schedtick=45 syscalltick=0 m=3 runqsize=4 gfreecnt=0 timerslen=0
  P1: status=1 schedtick=48 syscalltick=0 m=0 runqsize=4 gfreecnt=0 timerslen=0
  M3: p=0 curg=24 mallocing=0 throwing=0 preemptoff= locks=0 dying=0 spinning=false blocked=false lockedg=-1
  M2: p=-1 curg=-1 mallocing=0 throwing=0 preemptoff= locks=0 dying=0 spinning=false blocked=true lockedg=-1
  M1: p=-1 curg=-1 mallocing=0 throwing=0 preemptoff= locks=2 dying=0 spinning=false blocked=false lockedg=-1
  M0: p=1 curg=34 mallocing=0 throwing=0 preemptoff= locks=0 dying=0 spinning=false blocked=false lockedg=-1
  G1: status=4(semacquire) m=-1 lockedm=-1
  G2: status=4(force gc (idle)) m=-1 lockedm=-1
  G3: status=4(GC sweep wait) m=-1 lockedm=-1
  G4: status=4(GC scavenge wait) m=-1 lockedm=-1
  G17: status=1() m=-1 lockedm=-1
  G18: status=1() m=-1 lockedm=-1
  G19: status=1() m=-1 lockedm=-1
  G20: status=1() m=-1 lockedm=-1
  G21: status=1() m=-1 lockedm=-1
  G22: status=1() m=-1 lockedm=-1
  G23: status=1() m=-1 lockedm=-1
  G24: status=2() m=3 lockedm=-1
  G25: status=1() m=-1 lockedm=-1
  G26: status=1() m=-1 lockedm=-1
  G27: status=1() m=-1 lockedm=-1
  G28: status=1() m=-1 lockedm=-1
  G29: status=1() m=-1 lockedm=-1
  G30: status=1() m=-1 lockedm=-1
  G31: status=1() m=-1 lockedm=-1
  G32: status=1() m=-1 lockedm=-1
  G33: status=1() m=-1 lockedm=-1
  G34: status=2() m=0 lockedm=-1
  G35: status=1() m=-1 lockedm=-1
  G36: status=1() m=-1 lockedm=-1
...

该时刻的调度情况快照图示如下

我们可以根据详细信息获取到 P、M、G 的具体运行情况。但需要注意的是，有一点我们不能确定，就是各个 P 的 LRQ 与 GRQ 是哪些具体的 G 在队列中等待，但这并不妨碍大局（因此，上图中的 LRQ 和 GRQ 可能并不是实际的 G 编号）。

总结

本文介绍了通过增加环境变量 GODEBUG ，我们可以在不做任何代码改变或增加额外的插件情况下，方便地查看 Go 程序的调度情况。

读者若想更直观地理解 Go 语言的 GMP 和调度系统，不妨一试 。

- END -

扫码关注公众号「网管叨bi叨」

给网管个星标，第一时间吸我的知识 

网管整理了一本《Go 开发参考书》收集了70多条开发实践。去公众号回复【gocookbook】领取！还有一本《k8s 入门实践》讲解了常用软件在K8s上的部署过程，公众号回复【k8s】即可领取！

觉得有用就点个在看