最近写bug时遇到一个关于函数执行超时的问题,就是某一步执行时间过长,或者程序直接卡死了,找到了三种解决方法,现在叙述下,帮助需要的人。
(1)使用eventlet
参考链接:https://blog.csdn.net/zjshui/article/details/78874621
import time
import eventlet #导入eventlet这个模块
eventlet.monkey_patch() #必须加这条代码
with eventlet.Timeout(2,False): #设置超时时间为2秒
print '这条语句正常执行'
time.sleep(4)
print '没有跳过这条输出'
print '跳过了输出'
使用eventlet的好处是在于可以真对某一步的进行限制,尤其是在写爬虫的时候有很大的益处。
但是eventlet也存在一定的问题,就是针对子进程无法跳出。如下面这个代码就有问题。
import time
import eventlet
import os
eventlet.monkey_patch() #必须加这条代码
with eventlet.Timeout(20,False): #设置超时时间为20秒
print '这条语句正常执行'
cmd1 = 'binwalk -B {0}'.format(filename)
info1_lines = os.popen(cmd1).readlines()
cmd2 = 'file {0}'.format(filename)
info2_lines = os.popen(cmd2).readlines()
print '没有跳过这条输出'
print '跳过了输出'
我的目的是防止程序卡死,所以加了eventlet,但是在我使用的时候还是存在卡死的情况,当时就很郁闷,不是已经加了时间限制吗,为什么还是不能够跳出。然后发现问题出在了os模块,一直卡在此步,不能够跳出,调用了子进程。
(2)使用signal设置装饰器
参考链接:https://www.cnblogs.com/buxizhizhoum/p/7113355.html
https://www.jb51.net/article/159375.htm
https://www.cnblogs.com/lyxdw/p/10033118.html
废话不多说,上代码,看下代码就很请出了,比说得更清楚。
import signal
def time_limit(set_time,callback):
'''set_time是设置的时间限制,callback是程序运行后执行的函数'''
def wraps(func):
# 收到信号SIGALRM后的回调函数,参数1是信号的数字,参数2是the interrupted stack frame.
def handler(signum, frame):
raise RuntimeError()
def deco(*args, **kwargs):
signal.signal(signal.SIGALRM, handler)
signal.alarm(set_time)
res = func(*args, **kwargs)
signal.alarm(0)
return res
except RuntimeError as e:
callback() ##如果不想要超时跳转,那么直接删除callback()和对应的参数
#print e.message
return deco
return wraps
def after_timeout(): # 超时后的处理函数
print("Time out!")
return
@set_timeout(2, after_timeout) # 限时 2 秒超时
def connect(): # 要执行的函数
a = 1
b=2
time.sleep(3) # 函数执行时间,写大于2的值,可测试超时
print “完成”
return a,b
if __name__ == '__main__':
print "test" #此句正常执行输出
if time_limite() != None ##如果超时,此步a为None,否则为
a,b = connet()
print a ##正常输出
print b ##正常输出
c = 4
print c ##此步正常输出
最后我采用了此种装饰器的方法进行了处理。
当然也可以直接设置超时退出,那就需要将callback函数和参数就可以了。
(3)使用threading
https://www.cnblogs.com/lyxdw/p/10033118.html
from threading import timer
def time_limit(interval):
def wraps(func):
def time_out():
raise RuntimeError()
def deco(*args, **kwargs):
timer = Timer(interval, time_out)
timer.start()
res = func(*args, **kwargs)
timer.cancel()
return res
return deco
return wraps
使用方式,在需要监控的函数上写@time_limit(5),即可定时5秒报错.经过测试,觉得没什么用。粗略看来,运行一下确实在程序超过interval规定的时间后抛出了RuntimeError。但是由于timer是另开的一个线程,所以这个异常别人获取不到,只有在本线程里处理才有用,而且卡死的函数也不会停下来。