总结了几项Python爬虫兼职要点

程序开发领域有这样一句话：人生苦短，我用Python。这本是开发者大佬Bruce Eckel的金句：Life is short, you need Python，有趣的是，很多人并非专职程序员，但却把这句话奉为神谕。所以Python究竟有什么神力，让全世界的人都追捧？

怎样用Python技术赚钱？

Python技术接单多赚钱快的活，大体上都是爬虫类的。主要是爬取网站、小程序或者APP的数据，对数据进行分析与处理，或者直接向客户提供爬虫程序与技术支持。

什么是爬虫？
说到爬虫，首先，先搞清楚爬虫的工作原理。爬虫通常由目标信息网站、页面抓取、页面分析、数据存储四个步骤组成。
其爬取网站资源的细节流程

1.先导入两个库，分别用于请求和网页解析
2.再请求网页获得源代码
3.初始化soup对象后用浏览器打开网页，定位需要的资源的位置
4.然后分析该位置的源代码，找到用于定位的标签及属性
5. 最后编写解析代码获得想要的资源

当我们熟悉原理和流程后，实现起爬虫来也就游刃有余了。当然，爬取数据的过程也不总是毫无阻碍，经常会有各种原因阻碍我们获取数据，有爬虫程序自身的问题，也有目标设置的反爬虫障碍，常见的有：

1.机器性能受限导致效率低下
2.APP、小程序中的数据难以获取
3.目标网站数据由JavaScript渲染无法抓取
4.目标返回了加密过的数据
5.目标网站有验证码无法获取资源
6.目标返回了脏数据，无法辨认
7.目标检测出是爬虫封了IP
8.目标网站必须登录才能显示