go内存问题说明:
工作中,短暂接手了一个go编程的应用程序,其中有有一个升级组件,在升级过程、比较md5等场景中约占用内存500M。
使用工具gops、pprof
gops: goland Attach to Process 工具。通过gops可以连接到本地的进程中,进行断点调试。
获得途径:通过github 获得gops源码,然后进行编译,编译期间遇到几个问题通过修改源码中的go.mod一一修改,得到gops.exe。放在GoPath下,完成。
pprof:go通过 go tool pprof能够观察到go应用程序的CPU、Memory的情况,可以通过graphviz将 pprof中的得到的信息,形成可视化的图像,方便追踪问题。
初步探索:
问题原因是同事使用升级组件时,内存会飙涨,等到10分钟左右,内存才会降下来。
首先,我们从网上了解到,go是一个拥有gc的语言。同时,随着版本的更迭,go的gc愈加的完善。所以,不要轻易怀疑一种语言,怀疑自己的代码。
go的垃圾回收采用的是 标记-清理(Mark-and-Sweep)算法:先标记出需要回收的内存对象,然后清理掉。
go回收内存慢的原因可能有以下几个:
1.go在没有长时间触发gc的情况下,可能需要有一个时间间隔才会主动触发一次gc;
2.go的gc机制,不是立即将内存返回给系统,而是告诉系统,这些内存没有人使用了,但系统不会立即回收,而是延缓回收,已提供给go需要内存是更快的分配速度。
即,go大体上可以看做内含一个内存池的存在。猜测程序爆发500M的内存是因为峰值内存上去导致的。
初次交手
起初,在浏览go的资料时,关于string和[]byte的转换,是我比较关注的一个点。
go中 string和[]byte的相互转换的时候,需要重新分配一次内存,使用拷贝进行操作。
程序中,关于文件操作的Read、Write方法,使用了OS.WriteString等方法,通过string、[]byte的多次转换来实现功能。
结果:程序内存有下降,不过峰值下降不够明显,且不够稳定。
神来之笔 - pprof
仅仅通过外部的猜测,就想要解决程序的内存问题,显然有些天方夜谭。这个时候需要思考和一定顺手的工具。
pprof在这个时候进入我的视野。
.runtime/pprof:采集程序(非 Server)的运行数据进行分析
.net/http/pprof:采集 HTTP Server 的运行时数据进行分析
.net/http/pprof可以通过程序将数据发送到本地端口,可以利用本地浏览器进行可视化追踪。添加的代码如下:
import (
_"net/http/pprof"
)
func main () {
go func() {
http.ListenAndServe("0.0.0.0:8899", nil)
}()
...
}
随后启动程序,走流程测试。
cmd命令:go tool pprof -alloc_space/-inuse_space http://localhost:8899/debug/pprof/heap
执行结果如下图:
之后可以使用pprof的指令。 这里我使用的是 web,即打开本地浏览器,可以看到具体的内存流向图如下。
可以看出内存的保障和一个函数有关:bytes.makeSlice
罪魁祸首
根据pprof所得的流程图可以得到,在bytes.makeSlice的上一级调用时 ioutil.ReadAll。
找到ioutil.ReadAll的的源码,发现会调用buffer.grow这个底层增长函数。且在调用ioutil.ReadAll函数的地方,[]btyes的大小没有一个初始估计,导致go会通过*2的方式去申请足够大小的内存,读取数据,这一定程度上导致了内存的损耗。
措施:在ioutil.ReadAll函数调用前,先预估文件的大小,然后调用。
结果:内存下降了在170M左右。
结果
170M峰值内存,在目前来看是调节的一个极限,因为程序在运行过程中,会下载约100M的文件。而我观察到的下载方式是通过全部读取到内存中,然后再写入文件中。这个业务方式,直接导致峰值内存一定会在100M以上,而且还有协成下载和其他的一些内存使用。
内存优化,暂时告一段落。
心得
这是我初步接手go的程序,短短2周不到的了解,就可以看到内存上面处理问题的诸多不足。这些有可能是因为前人的逻辑漏洞,也有很多是go本身底层的东西就没有看透。
只想说:
1.语言无对错,错在使用方法上
2.不是说高并发就是好的,真正的高并发也是应该考虑实际应用环境才可以的。
3.遇到事情,不能想什么其他的外路(ps:比如内存高就重启之类的)
以上是此次解决问题的一些想法。问题很简单,重要的是编程思路和不断的学习+测试,记录下来给以后的自己一个警醒。
最后贴一个获得md5值的go代码,大家可以看看他们的内存差别。
f, err := os.Open(file) if err != nil { return false } h := md5.New() io.Copy(h,f) dst := string(h.Sum(nil)[:16])
data, err := ioutil.ReadFile(file) if err != nil { return } value = md5.Sum(data) return value, nil