此文将带你入门网络爬虫

网络数据采集，通俗点说即网络爬虫。现如今在互联网上，每时每刻都有搜索引擎的蜘蛛或其他网站在采集着大量的信息。

大部分网络爬虫程序的逻辑很简单，即向网络服务器发送请求，获取网页源码数据（即HTML），然后对数据进行解析，提取目标信息。所以大家不要被此专业术语吓到。

现如今大数据时代，作为采集网络数据的利器，爬虫所发挥的作用越来越大。

Python、Java、PHP等程序语言都可以实现网络数据采集的功能。由于本人只会Python，所以之后主要介绍Python爬虫。

实现网络爬虫的基本思路

大多时候，可以用下面的思路来进行爬虫的构建：

• 通过网站域名获取HTML数据
• 根据目标信息解析数据
• 存储目标信息
• 如有必要，再另一网页重复上面3点

作为入门级介绍，本文只针对前2步骤作出示例。

获取网页源码数据

当我们在浏览器中输入网址时，浏览器会向网址所在服务器发送请求，然后服务器便会将数据发送至浏览器，浏览器通过解析向我们展示友好的网页效果。

网络爬虫程序中，Python便是起到了浏览器的作用，下面两行代码便可轻松获取服务器上的数据源码：

import requests
print requests.get('http://www.jikeyuedu.com/').content

将这段代码保存为main.py，然后在终端运行如下命令：

python main.py

便可输出http://www.jikeyuedu.com/这个网页的全部HTML代码。

获得的是HTML源代码，这就要求你会些HTML的基础，所幸很简单。

从源码中提取目标信息

获取网页源代码之后，便需要提取目标信息。此时便需要借助利器正则表达式或BeautifulSoup。本文用后者作示例。不过正则表达式在我看来更加重要，建议大家自行学习。

BeautifulSoup通过定位HTML标签来使提取网页信息变得异常简单。

下面代码示例提取网页的标题：

import requests
from bs4 import BeautifulSoup
html = requests.get('http://www.jikeyuedu.com/').content
# html转化为BeautifulSoup对象
bsObj = BeautifulSoup(html)
# 输出网页标题
print bsObj.title

输出的结果是：

上面例子仅是BeautifulSoup很简单的一个应用，其实任何HTML文件的任意节点内容或属性都可以被提取出来。

举例说明，提取斗鱼主播标题

目的很明确，目标网址为https://www.douyu.com/directory/all。首先必须通过浏览器打开此网页，然后通过源码分析，我们可以知道标题所在的HTML标签位置，是class为ellipsis的h3标签。

通过findAll函数，便可获得标题列表，下面是代码示例：

import requests
from bs4 import BeautifulSoup
html = requests.get('https://www.douyu.com/directory/all').content
bsObj = BeautifulSoup(html)
# findAll
titleList = bsObj.findAll('h3',{'class':'ellipsis'})
# 输出
for title in titleList:
    print title.get_text()

上面仅是将获取到的标题在终端输出展示，以后会介绍将目标信息保存为文件或保存至数据库中。

程序输出部分截图如下：

效果截图

补充

• 示例代码中所用到的requests和BeautifulSoup都不是Python标准库，需单独安装
• 示例代码Python环境为2.7
• Python基础和HTML基础对阅读本文有帮助