【Python】性能优化之分析工具

进行性能优化首先要分析性能（也就是运行时间）的瓶颈，以获得最大加速比。程序中也符合二八法则，即20%的代码需要80%的时间，甚至更加极端，某一段代码的小幅提升在上万次的调用中是性能质的飞跃。

分析函数运行情况的工具包包括cprofile, line_profile,timeit，当然也可以直接用time包手写定义自己需要的。

注意，cprofile无法用于多线程，会有pickle错误。 逐行分析定位比较好用的有：line_profiler。

Timeit

https://docs.python.org/2/library/timeit.html

Jupyter 里小程序用很好用 %timeit，
一个cell 或者一行代码的简单示范

%%timeit 
for i in range(100):
    pass

输出

1.56 µs ± 38.5 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)

命令行中使用的简单示范

$ python3 -m timeit '"-".join(str(n) for n in range(100))'
10000 loops, best of 3: 30.2 usec per loop
$ python3 -m timeit '"-".join([str(n) for n in range(100)])'
10000 loops, best of 3: 27.5 usec per loop
$ python3 -m timeit '"-".join(map(str, range(100)))'
10000 loops, best of 3: 23.2 usec per loop

Line profile

官方repo地址

if __name__ == "__main__":
     prof = LineProfiler() # create profile object
     prof.enable()
     prof.add_module(train_opt) # module to be analysed
     prof.add_function(main) # module to be analysed
     prof.add_function(run_one_game)
     wrapper = prof(run_one_game)
     wrapper(namemark,ncpu,phi,game)
     prof.disable()
     prof.print_stats(sys.stdout)

Cprofile

1.1 命令行

# 直接把分析结果打印到控制台
python -m cProfile test.py
# 把分析结果保存到文件中
python -m cProfile -o result.out test.py
# 增加排序方式
python -m cProfile -o result.out -s cumulative test.py

代码内置使用方式

if __name__ == "__main__":
    import cProfile
    *# 直接把分析结果打印到控制台*
    cProfile.run("test()")
    *# 把分析结果保存到文件中*
    cProfile.run("test()", filename="result.out")
    *# 增加排序方式*
    cProfile.run("test()", filename="result.out", sort="cumulative")

1.2 分析工具

使用cProfile分析的结果可以输出到指定的文件中，但是文件内容是以二进制的方式保存的，用文本编辑器打开时乱码。所以，Python提供了一个pstats模块，用来分析cProfile输出的文件内容。

import pstats
​
# 创建Stats对象
p = pstats.Stats("result.out")
​
# strip_dirs(): 去掉无关的路径信息
# sort_stats(): 排序，支持的方式和上述的一致
# print_stats(): 打印分析结果，可以指定打印前几行
​
# 和直接运行cProfile.run("test()")的结果是一样的
p.strip_dirs().sort_stats(-1).print_stats()
​
# 按照函数名排序，只打印前3行函数的信息, 参数还可为小数,表示前百分之几的函数信息 
p.strip_dirs().sort_stats("name").print_stats(3)
​
# 按照运行时间和函数名进行排序
p.strip_dirs().sort_stats("cumulative", "name").print_stats(0.5)
​
# 如果想知道有哪些函数调用了sum_num
p.print_callers(0.5, "sum_num")
​
# 查看test()函数中调用了哪些函数
p.print_callees("test")

结果类似：

8 function calls in 0.042 seconds
​
 Ordered by: cumulative time
​
 ncalls  tottime  percall  cumtime  percall filename:lineno(function)
 1    0.000    0.000    0.042    0.042 test.py:5()
 1    0.002    0.002    0.042    0.042 test.py:12(test)
 2    0.035    0.018    0.039    0.020 test.py:5(sum_num)
 3    0.004    0.001    0.004    0.001 {range}
 1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

其中，输出每列的具体解释如下：
ncalls：表示函数调用的次数；
tottime：表示指定函数的总的运行时间，除掉函数中调用子函数的运行时间；
percall：（第一个percall）等于 tottime/ncalls；
cumtime：表示该函数及其所有子函数的调用运行的时间，即函数开始调用到返回的时间；
percall：（第二个percall）即函数运行一次的平均时间，等于 cumtime/ncalls；
filename:lineno(function)：每个函数调用的具体信息；

其他允许的排序方式：calls, cumulative, file, line, module, name, nfl, pcalls, stdname, time等。

Reference

1. CSDN 博客 python性能分析

2. Lineprofile Github Repo

3. Cprofile使用详细指南