2017-5-16,17-IP池,优美的代码

最近被一个ip池搞的有点崩...
一个活生生的到手的ip隔几秒钟就挂掉了..
不知道什么情况...
先把锅丢给苏男神让他慢慢 debug去...
python的Multiprocess算是一个不错的库了.

然后IP池推荐一下https://github.com/jhao104/proxy_pool

封装的很好,首先数据库既提供了SSDB也提供了REDIS的接口,甚至还自己写了个自动检验应该用哪个...
里面用了很多高深的技术,例如meta class...
大概我也就只能勉勉强强看懂= =

另外代码写的优美看的是真的享受!!!

今天胖哥把爬虫代码给我的时候我是崩溃的!!

2017-5-16,17-IP池,优美的代码_第1张图片
image.png
2017-5-16,17-IP池,优美的代码_第2张图片
image.png

.]

2017-5-16,17-IP池,优美的代码_第3张图片
...

给你们参考一下...

简直天了个噜了...

写个if name=="main" 会掉几斤肉嘛?
封装个类的api接口会麻烦多少嘛?
将一些xpath做成一个list或者dict看着不会更舒服嘛?

我的天啦!
看他这一页的代码
比我看那ip池8,9 个文件还费劲,,
大家一定要杜绝如此歪风邪气
写优美的代码hhhh

你可能感兴趣的:(2017-5-16,17-IP池,优美的代码)