Python网络爬虫（零）

Python网络爬虫(零)：简介及安装

一、前言

最近一直在准备大数据的竞赛，接触了一些网络爬虫的知识，在网上查过一些资料，总觉得不是很系统，就在某宝上买了本Python网络爬虫的书。个人认为学习不应该是走马观花似的，并且一直以来都有想写博客的想法但又找不到持续更新的内容，正好接着这次学习网络爬虫的机会，用博客文章来记录学习过程。

二、开发工具

Anaconda：Anaconda就是可以便捷获取包且对包能够进行管理，同时对环境可以统一管理的发行版本。Anaconda包含了conda、Python在内的超过180个科学包及其依赖项。
所有参考代码都在Jupyter notebook上编写，相关章节的内容会以.ipynb文件形式出现并上传

三、参考用书

《Python3网络爬虫开发实战》 崔庆才 著

有关内容：
安装开发环境；学习爬虫之前需要了解的基础知识，如HTTP、爬虫、代理的基本原理、网页基本结构等内容；最基本的爬虫操作，urllib、requests和正则表达式的基本用法；页解析库的基本用法，包括Beautiful Soup、XPath、pyquery的基本使用方法；数据存储的常见形式及存储操作，包括TXT、JSON、CSV各种文件的存储，以及关系型数据库MySQL和非关系型数据库MongoDB、Redis存储的基本存储操作；Ajax数据爬取；动态渲染页面的爬取；Selenium、Splash等工具来实现模拟浏览器进行数据爬取的方法；验证码的相关处理方法，包括图形验证码、极验验证码、点触验证码、微博宫格验证码的识别；代理的使用方法、代理池的维护方法，以及ADSL拨号代理的使用方法；模拟登录爬取，最基本的模拟登录方法以及维护一个Cookies池；App的爬取，如何使用Charles、mitmproxy抓包软件的使用。mitmdump对接Python脚本进行实时抓取的方法，以及使用Appium完全模拟手机App爬取的操作进行爬取；pyspider爬虫框架及用法；Scrapy爬虫框架及用法；分布式爬虫的基本原理及实现方法；分布式爬虫的部署及管理方法。

四、安装

学习Python网络爬虫要有一定Python基础，本系列重点在网络爬虫，不讲述Python基础，需要学习Python基础的可以参考以下链接网站：

菜鸟教程：https://www.runoob.com/python3/python3-tutorial.html
中国大学MOOC：https://www.icourse163.org/course/BIT-268001

1.Python3的安装

如果你学过Python基础那么就一定安装了Python了吧！如果没有安装，可以参考相关链接：

下载地址：https://www.python.org/downloads

2.Anaconda的安装

Anaconda的官网下载地址：https://www.anaconda.com/products/individual#Downloads
如果下载速度过慢，可以使用清华大学镜像。

3.请求库的安装

爬虫操作分为：抓取网页、分析页面和存储数据这几步。
在抓取页面的过程中，需要模拟浏览器向服务器发送请求，就会用到一些Python库来实现HTTP请求操作。

·requests的安装

requests属于第三方库，需要手动安装。如果你使用的是Anaconda，在base环境下，已经为你集成了300多个库，所以不需要额外手动安装；如果你只装了Python，可以打开终端（命令行）输入以下指令：

pip install requests

4.解析库的安装

在抓取网页代码之后，下一步就是从网页中提取信息。提取信息的方式有多种多样，可以使用正则表达式，但是写起来相对比较麻烦。Python有许多强大的解析库，比如lxml，BeautifulSoup、pyquery等。此外，还提供了非常强大的解析方法，如XPath解析和CSS选择器解析等，利用这些库可以高效便捷的从网页中提取信息。

（1）lxml的安装

lxml是Python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高。
安装指令：

pip install lxml

安装完成之后，在Python命令行下测试：

$ python3
>>> import lxml

如果没有报错，则证明库已经安装好了。

（2）Beautiful Soup的安装

Beautiful Soup是Python的一个HTML或XML的解析库，我们可以用它来方便地从网页中提取数据。它拥有强大的API和多样的解析方式。
安装指令：

pip install beautifulsoup4 

安装完成之后，可以运行下面代码验证：

from bs4 import BeautifulSoup
soup = BeautifulSoup('
Hello
', 'lxml')
print(soup.p.string)

运行结果如下：
Hello
如果运行结果一致，则证明安装成功。

注意，这里我们虽然安装的是beautifulsoup4这个包，但是在引入的时候却是bs4.这是因为这个包源代码本身的库文件夹名称就是bs4，所以安装完之后，这个库文件夹就被移入到本机Python3的lib里，所以识别到的库文件名就叫bs4。

（3）pyquery的安装

pyquery同样是一个强大的网页解析工具，它提供了和jQuery类似的语法来解析HTML文档，支持CSS选择器，使用非常方便。
安装指令：

pip install pyquery

验证安装

$python3
>>> import pyquery

对于Python网络爬虫需要的几个基本库就是这些了，等后面学的更深入了会用到一些别的库。