搞清楚 Python traceback
上周公司组织Python方面的代码review，其中提到一个问题就是没有一个统一的异常日志分析机制，都乱七八糟的，然后回头看了一下自己项目的异常处理方面，感觉对Python异常体系以及相关的工具模块了解不是很深。有必要整理一下关于Python异常处理方面的一些基础知识。
1. Python中的异常栈跟踪
之前在做Java的时候，异常对象默认就包含stacktrace相关的信息，通过异常对象的相关方法printStackTrace()和getStackTrace()等方法就可以取到异常栈信息，能打印到log辅助调试或者做一些别的事情。但是到了Python，在2.x中，异常对象可以是任何对象，经常看到很多代码是直接raise一个字符串出来，因此就不能像Java那样方便的获取异常栈了，因为异常对象和异常栈是分开的。而多数Python语言的书籍上重点在于描述Python中如何构造异常对象和raise try except finally这些的使用，对调试程序起关键作用的stacktrace往往基本上不怎么涉及。
python中用于处理异常栈的模块是traceback模块，它提供了print_exception、format_exception等输出异常栈等常用的工具函数。
|
1
2
3
4
5
6
7
8
9
10
|
deffunc(a, b):
returna/b
if__name__=='__main__':
importsys
importtraceback
try:
func(1,0)
exceptException as e:
print"print exc"
traceback.print_exc(file=sys.stdout)
|
|
1
2
3
4
5
6
|
print exc
Traceback (most recent call last):
File"./teststacktrace.py", line 7,in<module>
func(1, 0)
File"./teststacktrace.py", line 2,infunc
returna / b
|
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
deffunc(a, b):
returna/b
if__name__=='__main__':
importsys
importtraceback
try:
func(1,0)
exceptException as e:
print"print_exception()"
exc_type, exc_value, exc_tb=sys.exc_info()
print'the exc type is:', exc_type
print'the exc value is:', exc_value
print'the exc tb is:', exc_tb
traceback.print_exception(exc_type, exc_value, exc_tb)
|
|
1
2
3
4
5
6
7
8
9
10
|
print_exception()
the exctypeis: <type'exceptions.ZeroDivisionError'>
the exc value is: integer division or modulo by zero
the exc tb is: <traceback object at 0x104e7d4d0>
Traceback (most recent call last):
File"./teststacktrace.py", line 7,in<module>
func(1, 0)
File"./teststacktrace.py", line 2,infunc
returna / b
ZeroDivisionError: integer division or modulo by zero
|
traceback模块提供了extract_tb函数来更加详细的解释traceback对象所包含的数据：
|
1
2
3
4
5
6
7
8
9
10
11
|
deffunc(a, b):
returna/b
if__name__=='__main__':
importsys
importtraceback
try:
func(1,0)
except:
_, _, exc_tb=sys.exc_info()
forfilename, linenum, funcname, sourceintraceback.extract_tb(exc_tb):
print"%-23s:%s '%s' in %s()"%(filename, linenum, source, funcname)
|
|
1
2
3
|
samchimac:tracebacktest samchi$ python ./teststacktrace.py
./teststacktrace.py :7'func(1, 0)'in<module>()
./teststacktrace.py :2'return a / b'infunc()
|
2. 使用cgitb来简化异常调试
如果平时开发喜欢基于log的方式来调试，那么可能经常去做这样的事情，在log里面发现异常之后，因为信息不足，那么会再去额外加一些debug log来把相关变量的值输出。调试完毕之后再把这些debug log去掉。其实没必要这么麻烦，Python库中提供了cgitb模块来帮助做这些事情，它能够输出异常上下文所有相关变量的信息，不必每次自己再去手动加debug log。
cgitb的使用简单的不能想象：
|
1
2
3
4
5
6
7
8
|
deffunc(a, b):
returna/b
if__name__=='__main__':
importcgitb
cgitb.enable(format='text')
importsys
importtraceback
func(1,0)
|
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
A problem occurredina Python script. Here is the sequence of
functioncalls leading up to the error,inthe order they occurred.
/Users/samchi/Documents/workspace/tracebacktest/teststacktrace.pyin<module>()
4 importcgitb
5 cgitb.enable(format='text')
6 importsys
7 importtraceback
8 func(1, 0)
func = <functionfunc>
/Users/samchi/Documents/workspace/tracebacktest/teststacktrace.pyinfunc(a=1, b=0)
2 returna / b
3if__name__ =='__main__':
4 importcgitb
5 cgitb.enable(format='text')
6 importsys
a = 1
b = 0
|
也许你会问，cgitb为什么会这么屌？能获取这么详细的出错信息？其实它的工作原理同它的使用方式一样的简单，它只是覆盖了默认的sys.excepthook函数，sys.excepthook是一个默认的全局异常拦截器，可以尝试去自行对它修改：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
deffunc(a, b):
returna/b
defmy_exception_handler(exc_type, exc_value, exc_tb):
print"i caught the exception:", exc_type
whileexc_tb:
print"the line no:", exc_tb.tb_lineno
print"the frame locals:", exc_tb.tb_frame.f_locals
exc_tb=exc_tb.tb_next
if__name__=='__main__':
importsys
sys.excepthook=my_exception_handler
importtraceback
func(1,0)
|
|
1
2
3
4
5
|
i caught the exception: <type'exceptions.ZeroDivisionError'>
the line no:14
the framelocals: {'my_exception_handler': <function my_exception_handler at0x100e04aa0>,'__builtins__': <module'__builtin__'(built-in)>,'__file__':'./teststacktrace.py','traceback': <module'traceback'from'/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/traceback.pyc'>,'__package__':None,'sys': <module'sys'(built-in)>,'func': <function func at0x100e04320>,'__name__':'__main__','__doc__':None}
the line no:2
the framelocals: {'a':1,'b':0}
|
3. 使用logging模块来记录异常
在使用Java的时候，用log4j记录异常很简单，只要把Exception对象传递给log.error方法就可以了，但是在Python中就不行了，如果直接传递异常对象给log.error，那么只会在log里面出现一行异常对象的值。
在Python中正确的记录Log方式应该是这样的：
|
1
2
3
|
logging.exception(ex)
logging.error(ex, exc_info=1)# 指名输出栈踪迹, logging.exception的内部也是包了一层此做法
logging.critical(ex, exc_info=1)# 更加严重的错误级别
|