Python with提前退出:坑与解决方案

Python with提前退出:坑与解决方案

问题的起源

早些时候使用with实现了一版全局进程锁,希望实现以下效果:

Python with提前退出:坑与解决方案

Python with提前退出:坑与解决方案

全局进程锁本身不用多说,大部分都依靠外部的缓存来实现的,redis上用的是setnx,有时候根据需要加上缓存击穿问题、随机延后以防止对缓存本身造成压力。

当时同样写了单元测试来测试这段代码的有效性:

Python with提前退出:坑与解决方案_第1张图片

Python with提前退出:坑与解决方案

看起来非常完美地通过了。

这样的一个全局进程锁是通过__enter__方法抛出异常, __exit__方法中捕获异常来实现的:

Python with提前退出:坑与解决方案_第2张图片

Python with提前退出:坑与解决方案

看起来还不错,毕竟单元测试都过了。

但是,这样的实现是有问题的:

原因在于__exit__ 的执行不是包在__enter__ 之外的,因此__enter__抛出的异常,不会被__exit__捕获。

上面的单元测试恰好通过,是因为其中有两个with语句,外面的with 捕获的其实是里面的__enter__ 抛出的异常

使用改进后的单元测试:

Python with提前退出:坑与解决方案_第3张图片

Python with提前退出:坑与解决方案

就会发现单元测试过不去了。

这个问题是我试图使用with实现另一个逻辑:AB测试 时出现的,同样是__enter__抛出异常,exit 试图捕获:

Python with提前退出:坑与解决方案_第4张图片

Python with提前退出:坑与解决方案

调试没有通过的单元测试的时候发现,抛出异常后根本没有执行到__enter__。

第一种解决方案

既然想明白了with的执行顺序,那么第一种解决方案就呼之欲出了:既然__exit__捕获的异常在__enter__执行完成之后,那么我们提供一个函数确认一下就可以了,把ABContext实现改成这样:

Python with提前退出:坑与解决方案_第5张图片

Python with提前退出:坑与解决方案

使用的时候:

Python with提前退出:坑与解决方案

Python with提前退出:坑与解决方案

但这样的解决方法并不优雅,万一使用这个ABContext的时候忘记用ensure方法了,那么就等于完全没用这个Context方法,太容易失误了,而且代码也失去了Pythonic的性质。

第二种解决方法

翻了一下contextlib的标准库文档,发现有一个已经废弃的函数:contextlib.nested

Python with提前退出:坑与解决方案

Python with提前退出:坑与解决方案

可以执行多个上下文:

Python with提前退出:坑与解决方案_第6张图片

Python with提前退出:坑与解决方案

这个废弃的特性在Python2.7之后,可以直接由with关键字执行,形如:

Python with提前退出:坑与解决方案

Python with提前退出:坑与解决方案

这个特性还不错,根据__enter__的执行顺序的话,那么我们可以实现一个由第一个 context的__exit__来捕获,第二个context的__enter__来抛出异常,

如同这样:

Python with提前退出:坑与解决方案_第7张图片

Python with提前退出:坑与解决方案

结合前面我们实现的ABContext的使用是这样的:

Python with提前退出:坑与解决方案_第8张图片

Python with提前退出:坑与解决方案

good,单元测试就这样过了!

能不能再给力点?

确实,在with里要写俩context有点蛋疼,并不是特别优雅,能不能还是回到最初的那种用法:我们只用写一条context,这一个context做到了两个context的事情?

要是nested那个函数还在就好了。。要的其实就是它的功能。

Python3.1之后contextlib提供了一个ExitStack的功能来提供一个模拟的功能,但试了一下发现,实际上只调用了__enter__方法,但没有做对应的异常捕获。

第三种解决方案

哈哈哈哈把自己绕到圈子里去了,想了一下,同样是一个缩进的代码块,为什么不能用if来解决呢!不就是个:

Python with提前退出:坑与解决方案_第9张图片

Python with提前退出:坑与解决方案

的问题。。。

TIL

总之学到了contextlib里的一些有用的函数和装饰器,也第一次发现with可以放个context。

虽然放多个context的动态构造还有待研究,with 后面的代码块也不能填一个元组或者列表。

最后

分享一份Python的学习资料,但由于篇幅有限,完整文档可以扫码免费领取!!!

1)Python所有方向的学习路线(新版)

总结的Python爬虫和数据分析等各个方向应该学习的技术栈。

在这里插入图片描述

比如说爬虫这一块,很多人以为学了xpath和PyQuery等几个解析库之后就精通的python爬虫,其实路还有很长,比如说移动端爬虫和JS逆向等等。

img

(2)Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然达不到大佬的程度,但是精通python是没有问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

在这里插入图片描述

(3)100多个练手项目

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。

在这里插入图片描述

你可能感兴趣的:(python,开发语言,爬虫,学习)