知道这几点，python爬虫技术简简单单轻松上手！

    我之前有写过些爬虫的文章，感觉大家对爬虫还是很感兴趣的，可能是因为爬虫很能提高我们的工作效率。

    爬虫最直接、最常用的就是收集数据、调研信息。爬取海量的网页信息并得到可视化的数据结果。

    那么爬虫需要学到那些方面的知识呢，很多编程语言都可以爬虫，爬虫技术门槛并不高，想要从头自学爬虫，“工欲善其事，必先利其器”，python功能强大，语法简洁易上手，是网络爬虫的有力工具，建议用Python语言入手。

    Python爬虫功能可以说是异常强大，很多Python程序员也曾开玩笑说，“万物皆可爬”，作为Python语言中实用性最强，且新手学习回报率最高，最容易获得成就感的一大模块，深受广大入门新手所喜爱。
            
我就来说说python爬虫的学习。

    爬虫的基本原理是基于网站网络协议，根据网址批量获取到网页上的信息操作过程。简单一点说就是用计算机程序来模拟人工点击网页获取数据的过程。

一、知识体系

    首先得打好Python的基础，这里有两个要点：第一，不是说一定要精通了python才来做这个爬虫的实战；第二，但是确确实实需要刻意的去加强你的Python基础，可以看这本《python编程从入门到实践（第二版）》，我在之前的文章中也提到过，这本经典的入门书籍值得拥有。

我们需要掌握的知识包括以下内容：

1、核心技术

    竟然叫核心技术，那说明这很重要，做爬虫就一定要用到这些技能，爬虫就是http去发送消息；爬虫获得的东西就是HTML、JSON、XML；通过 DOM、XPath、CSS、Selector 这些把数据给摘出来；JavaScript也是网页的一个组成部分，这些核心技术就是爬虫必嘘掌握的知识。

2、掌握工具

最常用的就是这些：

Selenium

    是网页自动化测试工具，可以自动化的操作浏览器。支持各种浏览器，常见的Firefox/Chrome/Safari都支持。

Postman

    是一种常用的接口测试工具，提供功能强大的 Web API & HTTP 请求调试，它能够发送任何类型的HTTP 请求。

Chrome

    属于爬虫的基础工具，一般我们用它做初始的爬取分析，页面逻辑跳转、简单的js调试、网络请求的步骤。

MySQL

是一种数据库，用来存储爬虫爬取到的数据。

Redis

    是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。

Tesserocr

    是基于Tesseract封装的库,tesserocr 是Python 的一个OCR 识别库,对于识别验证码,图像识别等非常有用。

当然也有其他相同功能的工具，只介绍这么多。

3、Python模块

    其实跟python相关的内容不多：requests请求、scrapy框架、re正则表达式、beautifulsoup 抓取数据等。所以爬虫学起来对于初学者会有一点困难，那是因为它用到了很多通用的东西。实际上python相关的东西并不多，而且都是比较简单的。
              

二、学习阶段

第一阶段：Python基础与爬虫

    学习重点:第一阶段学习后基本可以面对一般的数据爬取需求，Python基础需要掌握python的安装配置，开发环境的搭建，需掌握windows与linux两个系统的环境搭建，理解并掌握其数据结构、函数、变量、循环与面向对象等编程的必备基础，爬虫需要掌握urllib2包的使用。

    掌握json包解析方法，字段定位等，bs4包可以解析html、 xml等结构化文档数据，需要掌握其解析方法。爬虫技术的一个重要的工作是分析网站结构与请求信息，这才是我们编写程序的前提，需要重点研究学习。

第二阶段：Scrapy框架与实战

    学习重点:重点是掌握一下些高级技巧,例如ip池、伪装头、验证码等特殊情况的处理方法，能够使用多线程与分布式的技术提高数据爬去效率,适合大数据场景使用，还需掌握Scrapy框架开发高可用的爬虫系统。在数据爬取过程中会遇到各种特殊情况，需要多动手,多动脑解决。

爬虫的实战可以从爬取没有防御机制的网站到爬取有专业反爬机制的网站。

    这本《python3网络爬虫开发实战》推荐大家去学，介绍了如何利用Python 3开发网络爬虫，爬虫从易到难的阶段性学习，书中的内容相对通俗易懂。
         

三、正确爬虫

爬虫学习者最常问的问题之一：这个能爬吗？

想必大家也都看到一些新闻说爬虫被抓判刑啥的，有三条爬虫不能爬的红线：

1.个人信息

个人敏感信息不能爬，会侵犯公民信息，这是不能触碰的红线

2.商业信息

这里的商业信息是指的是商业机密，爬取内容触碰到了别人的商业利益，人家肯定会告你。

3.国家信息

懂得都懂，这个不用多少说，国家是底线。

    这些信息是一定不能爬取的，爬虫本身的技术是不犯法的，只要遵守爬虫礼仪，如果爬虫不遵守基本的规则，结果就如下图↓↓↓

    以上就是我的分享，我的专业方向不主做爬虫，爬虫对于我来说只是辅助。有说的不对，或者不够全面的希望大家在评论区提出和补充。

   如果对软件测试、接口测试、自动化测试、持续集成、面试经验。感兴趣可以进到806549072，群内会有不定期的分享测试资料。还会有技术大牛，业内同行一起交流技术