利用Python爬取糗事百科段子信息

文章来源：公众号-智能化IT系统。

爬虫技术目前越来越流行，这里介绍一个爬虫的简单应用。

爬取的内容为糗事百科文字内容中的信息，如图所示：

爬取糗事百科文字35页的信息，通过手动浏览，以下为前四页的网址：

• http://www.qiushibaike.com/text/

• http://www.qiushibaike.com/text/page/2/?s=4964629

• http://www.qiushibaike.com/text/page/3/?s=4964629

• http://www.qiushibaike.com/text/page/4/?s=4964629

这里的?s=4964629应该只是从Cookies里提取的用户标识，去掉后依然能打开网页。然后把第一页的网址改为http://www.qiushibaike.com/text/page/1/也能正常浏览，故只需更改page后面的数字即可，以此来构造出35页的网址。

需要爬取的信息有：用户ID，用户等级，用户性别，发表段子文字信息，好笑数量和评论数量，如下图所示：

案例中运用Python对文件的操作，把爬取的信息存储在本地的txt文本中。

一. 前置工作：

1.  安装python

2.  安装PyCharm

python不用说了。Pycharm是python的开发工具。具体安装可以百度参考。

 

二. 技术点介绍

爬虫技术并不需要掌握python非常精通，本案例只是涉及到python如下的基本技术点：

1. 字符串的基本操作

2. python函数

3. python元组应用

4. python的for循环

5. python的条件判断

6. python文件操作

 

另外需要了解一下http的请求，涉及如下：

1. http请求和响应基本原理

2. get和post请求基本知识

3. http请求头中的User-Agent，便于伪造精确的请求信息

 

本案例是针对python的爬取网页数据，所以python针对爬虫的相关技术需要熟悉：

1. Requests库（模拟请求）

2. Re模块（正则表达式的应用，在请求结果中匹配数据）

最后就是网页元素的基本知识了，包括如下：

1. html元素

2. chrome浏览器的使用，以及获取网页指定元素的标签

 

本文不对上述技术点进行讲述，读者如果有问题可以百度搜索一下，应该很快就能熟悉。熟悉了上述技术点，就可以完全掌握下面的爬取代码了。

 

三. 爬取代码

如下代码可以直接复制执行：

import requests

import re

 

headers = {

   'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'

}

 

info_lists = []

 

defjudgment_sex(class_name):

  if class_name == 'womenIcon':

    return '女'

  else:

    return  '男'

 

def get_info(url):

   res = requests.get(url)

   ids = re.findall('

(.*?)

',res.text,re.S)

   levels = re.findall('

(.*?)

',res.text,re.S)

   sexs = re.findall('

',res.text,re.S)

   contents = re.findall('.*?(.*?)',res.text,re.S)

   laughs = re.findall('(\d+)',res.text,re.S)

   comments = re.findall('(\d+) 评论',res.text,re.S)

   for id,level,sex,content,laugh,comment inzip(ids,levels,sexs,contents,laughs,comments):

     info = {

       'id':id,

       'level':level,

       'sex':judgment_sex(sex),

       'content':content,

       'laugh':laugh,

       'comment':comment

     }

     info_lists.append(info)

 

if __name__ =='__main__':

   urls = ['http://www.qiushibaike.com/text/page/{}/'.format(str(i))for i in range(1,36)]

   for url in urls:

     get_info(url)

   for info_list in info_lists:

     f = open('C:/Users/Administrator//Desktop/qiushi.text','a+')

     try:

       f.write(info_list['id']+'\n')

       f.write(info_list['level'] + '\n')

       f.write(info_list['sex'] + '\n')

       f.write(info_list['content'] + '\n')

       f.write(info_list['laugh'] + '\n')

       f.write(info_list['comment'] + '\n\n')

       f.close()

     except UnicodeEncodeError:

       pass

     print(info_list)

 

运行的结果保存在电脑，文件名为qiushi的文档中，如图所示

四. 代码分析

（1）1~2行

导入程序需要的库，Requests库用于请求网页获取网页数据。运用正则表达式不需要用BeautifulSoup解析网页数据，而是使用Python中的re模块匹配正则表达式。

（2）4~7行

通过Chrome浏览器的开发者工具，复制User-Agent，用于伪装为浏览器，便于爬虫的稳定性。

（3）17~34行

定义get_info()函数，用于获取网页信息并把数据传入到info_lists列表中。传入URL后，进行请求。

（4）第9行

定义了一个info_lists空列表，用于存放爬取的信息，每条数据为字典结构。

（5）11~15行

定义judgment_sex()函数，用于判断用户的性别。

（5）36~51行

为程序的主入口。通过对网页URL的观察，通过列表的推导式构造35个URL，并依次调用get_info()函数，循环遍历info_lists列表，存入到文件名qiushi的TXT文档中。

---

公众号-智能化IT系统。每周都有技术文章推送，包括原创技术干货，以及技术工作的心得分享。扫描下方关注。

---

公众号-智能化IT系统。每周都有技术文章推送，包括原创技术干货，以及技术工作的心得分享。扫描下方关注。