C++程序性能控制(cpu,内存,带宽,io)

C++程序性能控制

常见的C++性能约束有:cpu,内存,网络带宽,磁盘读写(iops)。
性能控制好的程序,也可以作为商用软件竞争的优势和亮点。

在本文中将从控制与监控两个方向介绍各个性能点的处置方式。

性能控制并不是万能的,而且多数控制方式仅能控制整个程序的最大值或者平均值,这并不是保证程序本身的性能占用就是合理的。无论哪种资源,都应该在方案设计阶段进行考虑,无论是处理过程中增加间歇,还是选择更加合理的数据结构等。

cpu

cpu的控制是这些性能资源中做好控制和观测的。可以直接通过cgroup进行限制,网上也有很多资料,所以本文仅简单介绍。

通过cgroup限制cpu占用的原理

从最简单的角度进行解释

  1. 什么是cpu占用?
    cpu占用通常来说都是指的一个百分比的值,表示着一个程序占用了系统的多少性能。将系统的性能比做有长度的传送带,将一个程序放到传送带上运行,其占用了几米,这几米占总传送带长度的百分比就是cpu占用。
  2. 多核cpu如何理解?
    现在的机器大多都是多核的了,也就有多个cpu,所以从概念上有两个cpu占用,分别是单核cpu占用和平均cpu占用。每个程序一般可以在任意一个cpu上运行,平均到每个cpu上运行的占比,就是平均cpu,同样这也是占总系统的百分比。类比到一个核上的占用就是单核cpu了,这个值是可以大于100%的。
  3. cgroup限制cpu的原理
    拿传送带模型来说,在cpu的传送带上,每一百米,会有7米在运行我们的程序,那么cpu占用就是7%。而cgroup可以控制每一米运行哪个程序,所以这就很简单,想限制到多少都是可以的,只是在这其中1%就是限制的最小力度了。对比官方的概念,每一米就是一个时间片,在cgroup控制时,可以控制分子和分母,即[运行时间片个数]/[每经历多少个时间片的时间]。

综上所述,通过cgroup限制后,cpu就能基本保证是可控的了。

代码控制cpu占用

  1. 适当增加睡眠
    • 在计算密集度高的位置,可能导致较高的cpu占用,可以适当增加sleep,控制长期占用cpu,挤占同程序其他模块的正常cpu活动。但这也是存在缺陷的,在编译阶段可能打断编译优化,在运行阶段(特别是在有gpu的机器上)会导致大量计算缓存被浪费。
  2. 为单个线程绑定特定的cpu运行
    • 一个系统上可能有多个cpu,但这些cpu也可以是不同型号的,有的cpu计算能力更好,有的cpu读取缓存更快等。在C++程序上可以通过pthread_setaffinity_np将一个线程绑定到一个确定的cpu上运行。
    • cpu的结构中是存在一些缓存的,如果指定一个线程运行还是有可能继续使用到这部分缓存,加快运行速度的。
  3. 调整合适的cgroup限制值
    • 设置cgroup限制cpu时,需要提供两个值,表示百分比的分子和分母。如想设置为7%的cpu占用(单核)。这时可以设置「7,100」,也可以设置「70,1000」,「700,10000」等。分母越大,允许程序连续运行的时间越长,有利于使用到缓存加速。但相对的瞬时cpu更可能出现超过平均值很多的情况。

cpu监控

  • cmd命令:top pidstat等都可以对cpu占用进行监控。另外,其他比较强力的工具还有perf top -p 28764,可以直接看到cpu占用发生在哪个阶段,可以看作很简略的火焰图
  • proc目录下的stat文件中存在对应列,在通过计算后可以得到cpu。具体计算方式较为复杂,可以参考:https://tool.4xseo.com/a/50844.html
  • 火焰图进行性能分析

内存

程序内存的控制不能向cpu那样,直接控制后就不会超了。通过cgroup限制,当程序内存超出限值后,杀死进程,这仅能保证此程序的运行不会影响到其他程序的运行。

cgroup限制内存异常场景:由于交换区被占满,导致系统卡死,虽然程序内存超限,但cgroup也需要很久才能检测到进程超内存。

代码控制内存占用

代码中控制内存占用的方式,其实也都很容易想到,程序中会占用内存的有几部分。

  • 代码中申请使用的栈/堆等内存
  • 加载的三方so所占用的内存
  1. 优化代码中申请的内存

    • 使用合理的数据结构,并合理控制队列长度
    • 尽量不使用new独立申请内存
    • 减少太占用内存的结构,如过长的vector,Json,避免Json的值传递,超大的json等。
    • 减少内存碎片的产生。适当使用内存池等,减少频繁的申请较大的内存。
  2. 减少三方so的内存占用

    • 对于手动通过dlopen打开的so,可以考虑使用RTLD_LAZY类型加载so,减少簿部分内存占用。参考https://zhuanlan.zhihu.com/p/560349203
    • 选择so时,可以考虑使用系统中自带的三方库,如果已有程序加载此so,也会与其共享这部分so的符号,减少部分内存占用

内存监控

内存监控有粗力度的,只监控进程上总体使用了多少内存。如使用pidstat命令-r参数查看,查看status文件中的值。也有可以用于内存泄漏问题定位的关注每个函数申请了多少内存,有没有被释放。后者需要编译带有符号表的程序,通过valgrind等工具进行检测,后面会补充一下如何细节定位内存泄漏问题,以及内存使用情况问题。

带宽

后补充

磁盘访问(iops)

磁盘访问指的是读写磁盘,对于当下的磁盘来说,这读写次数/频率已经都不是问题了,但是对于老版的磁盘,可能还有这样的限制。

iops限制

  1. 可以通过cgroup对io读写进行限制,但这里有cgroup v1和v2版本的区别。对于v1版本,监控iops时,仅是能监控进程直接写入磁盘的,而通常我们使用write函数写入文件时,先会写到用户态的缓冲区,即使调用flush也只是刷新到内核的缓冲区,后续在内核线程的调度过程中,真正写入到磁盘中。这时候需要使用directio直接写入磁盘,才能被v1版本监控到io使用。而v2版本,在4.15版本的内核被引入,但默认使用的都还是v1版本。在v2版本中,会跟踪每一条访问,准确限制进程的io访问。

  2. 增加内存盘的方式,高频使用的文件存储到内存盘中,减少对磁盘的读写

iops的监控

可以使用iotop监控,或者perf命令监控一些挂载点的调用。某些情况下,也可以将整机的io使用,看作是单个进程的io占用

你可能感兴趣的:(日常总结,c++,cpu,内存,iops)