爬虫吐槽

1、不要跟老娘说什么bs4什么xpath什么css选择器，傻逼吗？json不香吗？

安利直接请求json文件。

2、连限频都不会求你不要秀了，怕到人家服务器500只能说你损，403都是活该，还在用sleep？scrapy是不是不好限频？

安利用ratelimite。

3、错误也不会捕捉也不能重试？

安利backoff。

4、还可以写成插件，解藕又方便。

安利pluginbase。

今天水了3篇文章。