python3爬虫演练-糗事百科

今天的想的是加强一下python3爬虫的技巧，以爬糗事百科的段子作为练习目标，以下是爬虫经历。

1.导包

主要导两类包，一个是网络请求包urllib，另一个是正则表达式包re

import urllib.request,urllib.error
import re

2.构建url

我要爬的是糗事百科的24小时里的段子，它的网址是

http://www.qiushibaike.com/hot

于是我的url构成如下，pageNum表示页数

url='http://www.qiushibaike.com/hot/page/' + str(pageNum)

3.增加报头，伪装浏览器

如果不加报头直接抓取源代码似乎会报错，所以我伪装了一下，打开chrome进入糗事百科，再右键打开检查->network->request headers，
把User-Agent复制了

user_agent='Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36' 
Headers={'User-Agent':user_agent}

请求报头

4.构建正则表达式

这是核心的地方，我一开始写的时候每一个标签都去匹配，然后正则表达式写得很长很长，最后还不知哪里错了打印不出结果，后来请教了别人写正则表达式的方法，发现只需要匹配核心的标签即可，其他无关的标签一律用.*?匹配。
先看看我要抓取的内容吧

一条糗事百科的段子

像上图这样就是一条段子，由于图片不可能显示，所以即使是有图片的段子我也只显示文字，那么我要匹配的内容有：用户的名字，段子的内容，“好笑”前面的数字，“好笑”这两个字，“评论”前面的数字，“评论”这两个字
那么我就要在源代码中找到这些内容，通过查看源代码发现，一个段子的代码是下面这种格式

![逆风的单车](http://upload-images.jianshu.io/upload_images/1467278-8c565aa521823b85.jpg?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)





逆风的单车







小时候喜欢摸堂弟头，喊他小不点，如今当兵回来的他，喜欢摸着我的头，喊我“老 部（不）长”，还特么时不时的摔我一跤！！！





3760 好笑



 · 



32 评论

我们要的东西的位置一目了然，首先是用户的名字：

逆风的单车

然后是段子的内容：

小时候喜欢摸堂弟头，喊他小不点，如今当兵回来的他，喜欢摸着我的头，喊我“老 部（不）长”，还特么时不时的摔我一跤！！！

接着是“好笑”

3760 好笑

最后是评论

32 评论

所以我们可以写出正则表达式

pattern=re.compile('
(.*?)
.*?
(.*?)
.*?(.*?) (.*?).*?(.*?)(.*?)',re.S)

注：因为是顺序匹配，所以“好笑”和评论只需要用匹配就好，其他杂七杂八的东西一律用.*?代替

5.写出请求

剩下的就是使用urllib来抓取源代码匹配后输出了

try:
     request=urllib.request.Request(url,headers=Headers)
     response=urllib.request.urlopen(request).read().decode('utf-8')
     items=re.findall(pattern,response)#     for item in items:
         print(item[0],item[1],item[2],item[3],item[4],item[5])
except urllib.error.URLError as  e:
     if hasattr(e,'code'):
         print(e.code)
     if hasattr(e,'reason'):
         print(e.reason)

完整的代码是

import urllib.request,urllib.error
import re
pageNum=1
url='http://www.qiushibaike.com/hot/page/' + str(pageNum)
user_agent='Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36' Headers={'User-Agent':user_agent}
pattern=re.compile('
(.*?)
.*?
(.*?)
.*?(.*?) (.*?).*?(.*?)(.*?)',re.S)
try: 
  request=urllib.request.Request(url,headers=Headers) 
  response=urllib.request.urlopen(request).read().decode('utf-8') 
  items=re.findall(pattern,response)
  for item in items:     
    print(item[0],item[1],item[2],item[3],item[4],item[5])
except urllib.error.URLError as e: 
  if hasattr(e,'code'): 
    print(e.code) 
  if hasattr(e,'reason'): 
    print(e.reason)

这样就能抓到啦。

参考：
Python爬虫实战一之爬取糗事百科段子