Python开发简单爬虫（慕课网学习资料总结）

本文是在慕课网学习Python简单爬虫后做以总结。视频地址

一、简单爬虫架构

简单爬虫架构

运行流程

运行流程.png

1、调度器询问URL管理器，是否有待爬URL？URL管理器返回是/否；
2、如果是，调度器会从URL管理器中取出一个待爬URL；
3、调度器将URL传给下载器，下载网页内容后返回给调度器；
4、调度器再将返回的网页内容发送到解析器，解析URL内容，解析完成后返回有价值的数据和新的URL；
5、一方面，调度器将数据传递给应用进行数据的收集；另一方面，会将新的URL补充进URL管理器，若有URL管理器中含有新的URL，则重复上述步骤，直到爬取完所有的URL
6、最后，调度器会调动应用的方法，将价值数据输出到需要的格式。

二、URL管理器和实现方法

管理带抓取URL集合和已抓取URL集合

防止重复抓取、防止循环抓取

URL管理器功能.png

支持的功能

添加新URL到待爬取集合中
判断待添加的URL是否在容器中
判断是否还有带待爬取URL
获取待爬取URL
将URL从待爬取移动到已爬取

实现方式

实现方式.png

将待爬取的URL和已爬取的URL存放在内容中。
将URL存放在关系型数据中
将URL存储在缓存数据库中

三、网页下载器和urllib2模块

将互联网上URL对应的网页下载到本地的工具

网页下载器类似于浏览器，会将互联网对应的网页以HTML的形式下载到本地，存储成本地文件或内存字符串，然后进行后续的分析。

Python的网页下载器

urllib2 (Python3以后将urllib2替换为urllib.request)
requests

urllib2

方法1：给定url，使用urllib2模块的urlopen方法。

import urllib2

# 直接请求
response = urllib2.urlopen('http://www.baidu.com')
# 获取状态码，如果是200表示获取成功
print response。getcode()
# 读取内容
cont = response.read()

方法2：添加data，http header
向服务器提交http的头信息，形成一个data，可以向服务器提交需要用户输入的数据。

添加头信息

import urllib2

# 创建Request对象
request = urllib2.Request(url)

# 添加数据
request.add_data('a', '1')
# 添加http的header，将爬虫伪装成一个Mozilla浏览器
request.add_header('User-Agent', 'Mozilla/5.0')

# 发送请求获取结果
response = urllib2.urlopen(request)

方法3：添加特殊情景的处理器

不同情景.png

比如需要登录才能访问的网页，要添加cookie的处理。使用HTTPCookieProcessor；
需要代理才能访问的网页使用ProxyHandler；
需要HTTPS加密访问的网站使用HTTPSHandler；
有些URL存在相互自动跳转的关系使用HTTPRedirectHandler进行处理。
将这些Handler传送给urllib2的build_opener方法创建一个opener对象，再传给urllib2的install_opener方法，urllib2这个模块就具备了进行特殊情景处理的能力。

import urllib2， cookielib

# 创建cookie容器
cj = cookielib.CookieJar()

# 创建1个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))

# 给urllib2安装opener
urllib2.install_opener(opener)

# 使用带有cookie的urllib2访问网页
response = urllib2.urlopen('http://www.baidu.com/')

四、网页解析器和BeautifulSoup

从网页中提取有价值数据的工具

网页解析器从HTML网页字符串中提取出价值数据和新URL对象。

Python网页解析器

正则表达式
html.parser
Beautiful Soup
lxml
后面三种是以结构化解析的方式进行解析DOM(Document Object Model)树

DOM树

Beautiful Soup

Python第三方库，用于从HTML或XML中提取数据
官网：https://www.crummy.com/software/BeautifulSoup/
中文文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html
安装测试

安装：pip install beautifulsoup4
测试：import bs4

语法

BeautifulSoup语法.png

from bs4 import BeautifulSoup

# 根据HTML网页字符串创建BeautifulSoup对象
soup = BeautifulSoup(html_doc, 'html.parser', from_encoding='utf-8')

# 搜索节点 查找所有标签为a的节点
soup.find_all('a')

# 查找所有标签为a，连接符合/view/123.html形式的节点
soup.find_all('a', href='/view/123.html')
soup.find_all('a', href=re.compile(r'/view/\d+\.html'))

# 查找所有标签为div，class为abc，文字为Python的节点
soup.find_all('div', class_='abc', string='Python')

访问节点信息

# 得到节点:Python
# 获取查找到的节点的标签名称
node.name

# 获取查找到的a节点的href属性
node['href']

# 获取查找到的a节点的链接文字
node.get_text()

五、实战练习

开发爬虫的步骤

开发爬虫步骤

爬取百度百科1000个页面

baike_spider