爬取糗事百科段子

这是Python爬虫系列的第一篇文章。之前学了一段时间的Python，在网上搜到爬虫系列的教程，但是由于网站更新可能会导致代码改变，使得以前的正则表达式无法使用，因此对原教程中的代码进行了一些修改，将自己的理解写在这里，方便理解。

本文参考教程 Python爬虫实战一之爬取糗事百科段子。作者崔庆才写了很多关于Python爬虫的文章，大家有兴趣的话可以去他的个人博客静觅学习。

爬虫介绍

维基百科中对网络爬虫的解释是

网络爬虫（英语：web crawler），也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。

如果觉得以上定义难理解，还有百度百科中的解释

网络爬虫，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

在Chrome或者Mozilla浏览器中，按f12可以进入开发者模式查看网页源代码，以 糗事百科 为例

糗事百科源代码.PNG

点开源代码中的不同标签，发现其实网页中显示的各种段子其实都在以下的几行代码之间

糗事百科源代码中内容位置.PNG

所以，当我们知道了自己想要的信息保存在哪个部分之后，我们就可以通过正则表达式（稍后会介绍）将这一部分信息提取出来，比如很多人爬的豆瓣电影，可以将Top250或者自己感兴趣的影片信息批量导出，或者把一些网站中的图片批量下载下来。

其实，像谷歌、百度这些搜索引擎也可以看成是网络爬虫，但是它们爬的是整个互联网上的信息，并且要在很短的时间内将结果显示出来，这就涉及到算法和优化的问题，而今天爬取糗事百科段子的程序只是一个很简单的爬虫，算是入门。

源代码放在我的GitHub主页上，下面主要是对具体代码的理解和分析。
注意：使用Python2.7版本

代码中用到了urllib2和re两个库，前一个用来获取网页的源代码，后一个使用正则表达式提取我们想要的信息，这也是我们的代码主要做的两件事情。

获取网页源代码

url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex)
request = urllib2.Request(url, headers={'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'})
response = urllib2.urlopen(request)
pageCode = response.read().decode('utf-8')

url是我们想要爬的网页地址，request是请求网页，urllib2.Request(url, headers)中的第一个参数url即为网页地址，第二个参数headers是身份，有的网站服务器会靠这个参数识别是否是浏览器发出的请求，如果不是则不响应，urllib2默认的身份是“Python-urllib/2.7”，所以最好将身份改为浏览器，可以在浏览器开发者工具的网络模块中查看浏览器的类型。response.read().decode('utf-8')中，response对象有一个read方法，可以读取网页的内容，由于网页是中文，利用decode('utf-8')将字符串变为'utf-8'编码格式，防止乱码。

正则表达式

首先上图

正则表达式.png

正则表达式有很多语法，最好在实际使用中边用边学。我们的代码中提取内容的部分为

pattern = re.compile('h2>(.*?).*?(.*?)(.*?)(.*?)

先看网页与源代码对应的部分

获取内容部分.PNG

获取内容部分代码.PNG

从

一直到最后的 ，这其中包括了发布人、内容、好笑数和评论数，我们可以将这四部分提取出来。
pattern = re.compile('h2>(.*?).*?(.*?)(.*?)(.*?)是匹配模式， .匹配除换行符‘\n’之外的字符， re.S代表(dot matchs all)， .也匹配换行符， .*和 .*?的区别是前者是贪婪匹配，后者是非贪婪匹配。

比如说匹配输入串A: 101000000000100
使用 1.*1 将会匹配到1010000000001, 匹配方法: 先匹配至输入串A的最后, 然后向前匹配, 直到可以匹配到1, 称之为贪婪匹配。
使用 1.*?1 将会匹配到101, 匹配方法: *匹配下一个1之前的所有字符, 称之为非贪婪匹配。
注: 翻译自StackOverflow回答

(.*?)代表一个分组，是我们想要提取出的信息，re.findall(pattern,pageCode)表示以pattern寻找pageCode中能匹配的所有子串，并以列表形式返回子串。item[0]、item[1]、item[2]、item[3]分别代表发布人、内容、好笑数和评论数，.strip()表示删除字符串开头和末尾的所有空白符（包括'\n'、'\t'、'\r'、' '）。'\n'换行，表示光标移到下一行，'\t'水平制表位，相当于按了键盘上的TAB键，'\r'回车，相当于光标回到该行首的位置。

getPage函数得到页面的代码，getPageItem获得页面中我们想要的内容，储存在列表中，loadPage函数在内容不够时加载新页面，并添加到self.stories变量中，getOneStory函数输入‘Q’退出程序，按回车显示一条内容，其中self.enable变量用来判断程序是否结束。