爬虫实战：嗅事百科段子多页爬取

假如我们想爬取糗事百科( http://ww qiushibaike.com/)上的段子，也可以编写对应的Python网络爬虫实现。

本项目糗事百科网络爬虫的实现思路及步骤如下:

1. 分析各页间的网址规律，构造网址变量，并可以通过for循环实现多页内容的爬取
2. 构建一个自定义函数，专门用来实现爬取某个网页上的段子，包括两部分内容，一部分是对应用户，一部分是用户发表的段子内容。该函数功能实现的过程为:首先，模拟成浏览器访问，观察对应网页源代码中的内容，将用户信息部分与段子内容部分的格式写成正则表达式。随后，根据各正则表达式分别提取出该页中所有的用户与所有的内容，然后通过for循环遍历段子内容并将内容分别赋给对应的变量，这里变量名是有规律的，格式为“content+顺序号”，接下来再通过for循环遍历对应用户，并输出该用户对应的内容。
3. 通过for循环分别获取多页的各页URL链接，每页分别调用一次getcontent ( url,page)函数。

定义正则表达式

用户
审查元素

查看源代码

多审查几个用户，

于是我们可以定义规则

userpat=str('
(.*?)
')

内容

于是可以定义内容正则

contentpat = '
(.*?)
'

全部代码

import urllib.request
import re
from urllib import request
def getcontent(url,page):
    headers = ("User-Agent",
               "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36")
    opener = urllib.request.build_opener()
    opener.addheaders = [headers]
    # 将opener安装为全局
    urllib.request.install_opener(opener)

    url_request = request.Request(url)
    html1 = request.urlopen(url_request, timeout=10)
    data=html1.read().decode('utf-8')
    #构建用户正则表达式
    userpat=str('
(.*?)
')
    #构建内容正则表达式
    contentpat = '
(.*?)
'
    #寻找出所有用户
    userlist=re.compile(userpat,re.S).findall(data)
    #寻找所有的内容
    contentlist=re.compile(contentpat,re.S).findall(data)

    x=1
    #通过for循环遍历段子内容并将内容赋值给对应的变量
    for content in contentlist:
        content=content.replace('\n','')
        #用字符串作为变量名，先将对应的字符串赋值给一个变量
        name="content"+str(x)
        exec(name+'=content')
        x+=1

    y=1
    #通过for循环遍历用户，并始终输出 该用户对应的内容
    for user in userlist:
        name='content'+str(y)
        print('用户'+str(page)+str(y)+'是:'+user)
        print('内容是:')
        exec("print("+name+")")


        print('\n')
        y+=1

for i in range(10):
    url='https://www.qiushibaike.com/text/page/'+str(i)+'/'
    getcontent(url,i)

函数解析

exec()是一个十分有趣且使用的内置函数，不同于eval()函数只能执行计算数学表达式的结果的功能，exec()能够动态地执行复杂的Python代码，能够十分强大
首先是一个简单的小例子，代码如下：

i = 12
j = 13
exec("answer=i*j")
print("Answer is %s"%answer)

答案·156