（数据科学学习手札31）基于Python的网络数据采集（初级篇）

一、简介

　　在实际的业务中，我们手头的数据往往难以满足需求，这时我们就需要利用互联网上的资源来获取更多的补充数据，但是很多情况下，有价值的数据往往是没有提供源文件的直接下载渠道的（即所谓的API），这时我们该如何批量获取这些嵌入网页中的信息呢？

　　这时网络数据采集就派上用处了，你通过浏览器可以观看到的绝大多数数据，都可以利用爬虫来获取，而所谓的爬虫，就是我们利用编程语言编写的脚本，根据其规模大小又分为很多种，本篇便要介绍基本的Python编写的爬虫脚本来进行单机形式的网络数据采集，这也是一个进阶的数据挖掘工程师或数据分析师的基本技能之一，大量的应用场景都会需要这种几乎可以毫无阻碍地获取数据的手段，譬如市场预测、机器语言翻译亦或是医疗诊断领域，通过对新闻网站、文章中的文本数据进行采集以进行进一步的数据挖掘工作，也是爬虫很常见的应用场景之一；

　　本篇博客将通过介绍基础的爬虫知识，并附上两个实战项目的例子（爬取网易财经海南板块历史股票数据、爬取网易新闻多个分类板块的新闻文本数据），对基础的爬虫做一个小小的总结。

*本篇以jupyter notebook作为开发工具

 

二、建立连接

　　为了抓取互联网上的数据资源，第一步显然是要建立起网络连接（即登入你的目标网址），在Python中，我们使用urllib.request中的urlopen()来建立起与目标网址的连接，这个函数可以用来打开并读取一个从网络获取的远程对象，可以轻松读取HTML文件、图像文件或其他寄存在网络端的文件，下面是一个简单的例子：

from urllib.request import urlopen

'''赋值我们需要登入的网址'''
html = urlopen('http://news.163.com/')

'''打印采集回的目标网页的源代码'''
print(html.read())

运行结果：

可以看出，通过上面非常简单的几行语句，我们就采集回http://news.163.com/的网页源代码，与浏览器中查看源代码的方式进行比较：

 

　　可以看出，只通过这几行语句采集回的网页内容，和浏览器中展示的网页源码信息有很大的出入，这是因为我们通过urlopen只是传回来朴素的源代码，没有经过任何解析操作，下面介绍如何对返回的朴素的网页源码进行解析；

 

三、BeautifulSoup库

　　通过上一节我们举的例子可以看出，我们需要对返回的网页源码进行结构化的解析，而BeautifulSoup就是这样一个神奇的第三方库，它通过对HTML标签进行定位，以达到格式化和组织复杂网络信息的目的，我们基于BeautifulSoup对上一节中的简单代码进行扩充：

from urllib.request import urlopen
from bs4 import BeautifulSoup

'''赋值我们需要登入的网址'''
html = urlopen('http://news.163.com/')

'''利用BeautifulSoup对朴素的网页源代码进行结构化解析（包括对utf编码的内容进行转码）'''
obj1 = BeautifulSoup(html.read())

'''打印采集回的目标网页的源代码'''
print(obj1)

运行结果：

可以看出这时我们得到的内容与我们之前在浏览器中查看的网页源代码一致（中文内容也被展示出来），更重要的是，我们已经对目标网页的结构进行了解析，意味着我们可以通过调用不同结构标签来查看相应内容：

print(obj1.html.h1)

print(obj1.html.title)

运行结果：

这对之后我们对所需内容的定位提取很有帮助，事实上，任何HTML、XML文件的任意节点信息都可以被提取出来，只要目标信息的附近有标记即可；

 

四、错误的处理策略

　　相比大家都有经验，当我们登入某些网址时，因为网络不稳定或其它原因，会导致网页连接失败，而在我们的网络爬虫持续采集数据的过程中，因为网页数据格式不友好、网络服务器宕机、目标数据的标签寻找失败等原因，会导致你的爬虫中途因发生错误而中断，这在需要长时间工作的爬虫项目来说尤为关键；

　　爬虫工作过程中常见的错误如下：

　　对于urlopen的过程，服务器上不存在目标网页（或是获取页面的时候出现错误），这种异常发生时，程序会返回HTTP错误，这包含很多种详细的错误类型，但urlopen统一反馈“HTTPError”，于是乎利用Python中处理错误的try...except机制，就可以在爬虫遇到这种错误时，进行相应的处理方法（通常是选择跳过），下面是一个简单的例子：

from urllib.request import urlopen

'''创造一系列网址，其中第四个为伪造的不存在网站'''
html = ['http://quotes.money.163.com/trade/lsjysj_600221.html?year=2012&season=1',
        'http://quotes.money.163.com/trade/lsjysj_600221.html?year=2012&season=2',
        'http://quotes.money.163.com/trade/lsjysj_600221.html?year=2012&season=3',
        'http://www.pythonscraping.com/pages/page10000.html',
        'http://quotes.money.163.com/trade/lsjysj_600221.html?year=2012&season=4']

'''循环反馈对应网址的源代码信息'''
for i in range(5):
        token = urlopen(html[i])
        print(token.read()[:10])

这时我们没有进行错误处理，因此在程序运行到第四个网址时，会出现打不开网页的错误，如下：

HTTPError出现了，这时由于这个网址的打开失败，导致后续的任务都被迫中断，下面我们使用错误处理机制对这种遍历任务中的潜在错误风险进行处理：

from urllib.request import urlopen
from urllib.error import HTTPError#注意，这里需要import urllib中具体的错误类型

'''创造一系列网址，其中第四个为伪造的不存在网站'''
html = ['http://quotes.money.163.com/trade/lsjysj_600221.html?year=2012&season=1',
        'http://quotes.money.163.com/trade/lsjysj_600221.html?year=2012&season=2',
        'http://quotes.money.163.com/trade/lsjysj_600221.html?year=2012&season=3',
        'http://www.pythonscraping.com/pages/page10000.html',
        'http://quotes.money.163.com/trade/lsjysj_600221.html?year=2012&season=4']

'''循环反馈对应网址的源代码信息'''
for i in range(5):
    try:
        token = urlopen(html[i])
        print(token.read()[:10])
    except HTTPError as e:
        print('错误出现！跳过')

运行结果：

这样就可以对各种潜在的错误进行处理，而不打断整个程序的进行，但运行大的爬虫项目时，潜在的错误类型是多种多样的，一旦没有在程序开头import全对应的错误类型，依旧会因为未预料到的错误类型打断程序，这时我们可以利用try...except中的泛型错误Exception来识别所有错误类型，并打印具体的错误类型以作后期分析：

from urllib.request import urlopen

'''创造一系列网址，其中第四个为伪造的不存在网站'''
html = ['http://quotes.money.163.com/trade/lsjysj_600221.html?year=2012&season=1',
        'http://quotes.money.163.com/trade/lsjysj_600221.html?year=2012&season=2',
        'http://quotes.money.163.com/trade/lsjysj_600221.html?year=2012&season=3',
        'http://www.pythonscraping.com/pages/page10000.html',
        'http://quotes.money.163.com/trade/lsjysj_600221.html?year=2012&season=4']

'''循环反馈对应网址的源代码信息'''
for i in range(5):
    try:
        token = urlopen(html[i])
        print(token.read()[:10])
    except Exception as e:#泛型错误处理机制
        print('错误','< ',e,' >','出现！跳过')

运行结果：

可以看到，在利用Exception时，会处理所有可能的错误，非常方便；

 

五、目标内容的粗略提取（基于CSS）

　　前面说了这么多，实际上还是在对我们的目的做铺垫，即介绍了 获取信息--抽取目标信息 这个过程中的获取信息部分，在获得了结构化的全量信息之后，我们就要开始着手如何提取其中想要的信息了；

　　先普及一个知识：几乎每一个网站都会存在层叠样式报（cascading style sheet，CSS），这种机制使得浏览器和人类得以理解网页的层次内容，CSS可以让HTML元素呈现出差异化，使得不同的数据归属于其对应的标签下，我们再通过BeautifulSoup解析后的网页内容（带有各层次标签），利用对应内容的标签属性，即可有选择的获取我们想要的数据内容；

　　我们用findAll()方法来对BeautifulSoup对象进行指定标签内容的提取，下面是一个简单的例子：

 

我们对http://sports.163.com/18/0504/10/DGV2STDA00058782.html这个新闻网页，先是提取它的新闻标题内容，通过观察网页源代码，发现其文章标题内容隐藏在