使用cProfiler对Python程序进行性能分析

介绍

profiler是一个程序，用来描述运行时的程序性能，并且从不同方面提供统计数据加以表述。
Python中含有3个模块提供这样的功能，分别是cProfile,profile和pstats。这些分析器提供的是对Python程序的确定性分析。同时也提供一系列的报表生成工具，允许用户快速地检查分析结果。

Python标准库提供了3个不同的性能分析器：
- cProfile，推荐给大部分的用户，是C的一个扩展应用，因为其合理的运行开销，所以适合分析运行时间较长的。是基于lsprof。
- profile，一个纯python模块，它的接口和cProfile一致。在分析程序时，增加了很大的运行开销。如果你想扩展profiler的功能，可以试着继承这个模块
- hotshot, 一个试验性的c模块，关注减少分析时的运行开销，但是是以需要更长的数据后处理的次数为代价。不过这个模块不再被维护，也有可能在新的python版本中被弃用。

实践

源码

from random import randint
from cProfile import Profile
import pstats

def insert_sort(data):
    result=[]
    for value in data:
        insert_value(result,value)
    return result

def insert_value(result,value):
    for i,existing in enumerate(result):
        if existing > value:
            result.insert(i,value)
            return
    result.append(value)

def main():
    max_size=10**4
    data=[randint(0,max_size) for _ in range(max_size)]
    test= lambda :insert_sort(data)
    return test

使用cProfile进行分析

分析代码：

def anylize_by_cprofile():
    profile=Profile()
    profile.runcall(main())
    stats=pstats.Stats(profile)
    stats.strip_dirs()  #从所有模块名中去掉无关的路径信息
    stats.sort_stats('cumulative')
    stats.print_stats()

anylize_by_cprofile()

分析结果：

root@native-sunaihua-5-25-18:~/pdb_test# python test.py 
         20003 function calls in 1.195 seconds

   Ordered by: cumulative time

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
        1    0.000    0.000    1.195    1.195 test.py:21(<lambda>)
        1    0.003    0.003    1.195    1.195 test.py:5(insert_sort)
    10000    1.174    0.000    1.191    0.000 test.py:11(insert_value)
     9992    0.018    0.000    0.018    0.000 {method 'insert' of 'list' objects}
        8    0.000    0.000    0.000    0.000 {method 'append' of 'list' objects}
        1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

结果说明
- ncalls:总的调用次数
- totime:消耗的时间，不包括调用其他函数的时间
- tottime percall:每次调用该函数的时间，不包括调用其他函数的时间
- cumtime：消耗的总时间，包括调用其他函数的实践
- cumtime percall：每次调用该函数的时间，包括调用其他函数的时间

不足：
上面的信息只是列出了每个函数的执行信息，但是没有列出调用关系，如果想查看调用关系，可以执行stats.print_callers()方法，结果如下：

Ordered by: cumulative time

Function                                          was called by...
                                                      ncalls  tottime  cumtime
test.py:21(<lambda>)                              <-
test.py:5(insert_sort)                            <-       1    0.004    1.221  test.py:21(<lambda>)
test.py:11(insert_value)                          <-   10000    1.199    1.217  test.py:5(insert_sort)
{method 'insert' of 'list' objects}               <-    9992    0.018    0.018  test.py:11(insert_value)
{method 'append' of 'list' objects}               <-       8    0.000    0.000  test.py:11(insert_value)
{method 'disable' of '_lsprof.Profiler' objects}  <-

其他方式

在GUI的系统中，还可以通过更加高级的方式进行分析与调试，例如使用RunSnakeRun,或是KCachegrind,详细说明可参见:http://blog.jobbole.com/52090/