糗事百科的网络爬虫

最近看完《python基础教程》后，想学下数据分析和爬虫。找了一些简单的爬虫练练手。

参考了Python爬虫实战一之爬取糗事百科段子，因为糗事百科代码改版了，我修改了Re后基本实现，然后用bs4改为第二版。

工具：python2.7.11  IDE:pyhcarn

1、用Re匹配识别：

#-*- coding:utf8 -*-

"""
爬取糗事百科  ——>2.0版本 ——>使用正则表达式
"""

import re
import urllib, urllib2
import thread
import time

class Baike:

    def __init__(self):
        self.pageIndex = 1
        self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
        self.headers = {'User-Agent': self.user_agent}
        self.stories = []
        self.enable = False

    def getPageCode(self, pageIndex):
        '传入某一页的索引获得页面代码'
        URL = "http://m.qiushibaike.com/hot/page/" + str(pageIndex)

        try:
            req = urllib2.Request(URL, headers=self.headers)
            Response = urllib2.urlopen(req)
            text = Response.read()
            pageCode = text.decode('utf-8') #将页面转化为UTF-8编码
            return pageCode
        except urllib2.URLError, e:
            if hasattr(e,"code"):
                print e.code

    def getPageContent(self, pageIndex):
        '传入某一页代码，返回本页的段子列表'
        pageCode = self.getPageCode(pageIndex)
        if not pageCode:
            print "页面加载失败...."
            return None

        patt = re.compile(r'<div.*?class="author.*?>.*?<h2>(.*?)</h2>.*?<div.*?class="content".*?>(.*?)</div>', re.S)
        replaceBr = re.compile('<br/>')
        replaceQuote = re.compile(r'"')
        m = re.findall(patt, pageCode)
        pageListItems = []
        for i in m:
            text = re.sub(replaceBr, "\n", i[1])
            end = re.sub(replaceQuote, '"', text)
            pageListItems.append([i[0], end.strip()])
        return pageListItems   #返回当前页的段子列表

    def loadPageListItems(self):
        ' 如果当前未看的页数少于2页，则加载新一页内容加入到stories列表中'
        if self.enable == True:
            if len(self.stories) < 2:
                list = self.getPageContent(self.pageIndex)
                if list:
                    self.stories.append(list)
                    self.pageIndex += 1

    def getOneStory(self, pageListItems, page):
        '每次敲回车打印输出一个段子，若输入quit则退出'
        for one in pageListItems:
            input = raw_input()
            self.loadPageListItems()
            if input == 'quit':
                self.enable = False
                return
            print u"第%d页\t发布人：%s\n内容：%s" %(page, one[0], one[1])

    def start(self):
        '先默认加载一页'
        print u"正在读取糗事百科段子，输入quit退出"
        self.enable = True

        thread.start_new_thread(self.loadPageListItems, ())

        nowPage = 1
        while self.enable:
            if len(self.stories) > 0:
                pageStories = self.stories[0]
                del self.stories[0]
                self.getOneStory(pageStories, nowPage)  #输出段子
                nowPage += 1

spider = Baike()
spider.start()

2、用bs4库实现：

#-*- coding:utf8 -*-

"""
爬取糗事百科  ——>2.0版本 ——>使用bs4模块
"""
import re
import urllib, urllib2
import thread
from bs4 import BeautifulSoup


class Baike:

    def __init__(self):
        self.pageIndex = 1
        self.user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
        self.headers = {'User-Agent': self.user_agent}
        self.stories = []
        self.enable = False

    def getPageCode(self, pageIndex):
        '传入某一页的索引获得页面代码'
        URL = "http://m.qiushibaike.com/hot/page/" + str(pageIndex)

        try:
            req = urllib2.Request(URL, headers=self.headers)
            Response = urllib2.urlopen(req)
            text = Response.read()
            pageCode = text.decode('utf-8') #将页面转化为UTF-8编码
            return pageCode
        except urllib2.URLError, e:
            if hasattr(e,"code"):
                print e.code

    def getPageContent(self, pageIndex):
        '传入某一页代码，返回本页的段子列表'
        pageCode = self.getPageCode(pageIndex)
        if not pageCode:
            print "页面加载失败...."
            return None

        soup = BeautifulSoup(pageCode, "html.parser")

        pageListItems, aa, bb = [], [], []

        for m, n in zip(soup('h2'), soup.select('div .content')):
            ans1 = ''.join(m.string).strip()
            aa.append(ans1)
            bb.append(n.string)

        for i,j in zip(aa, bb):
            if str(type(j)) != '<type \'NoneType\'>':
                pageListItems.append([i+'\n', j.strip()])
            else:
                pageListItems.append([i, j])
        return pageListItems   #返回当前页的段子列表

    def loadPageListItems(self):
        ' 如果当前未看的页数少于2页，则加载新一页内容加入到stories列表中'
        if self.enable == True:
            if len(self.stories) < 2:
                list = self.getPageContent(self.pageIndex)
                if list:
                    self.stories.append(list)
                    self.pageIndex += 1

    def getOneStory(self, pageListItems, page):
        '每次敲回车打印输出一个段子，若输入quit则退出'
        for one in pageListItems:
            input = raw_input()
            self.loadPageListItems()
            if input == 'quit':
                self.enable = False
                return
            print u"第%d页\t发布人：%s内容：%s" %(page, one[0], one[1])

    def start(self):
        '先默认加载一页'
        print u"正在读取糗事百科段子，输入quit退出"
        self.enable = True

        thread.start_new_thread(self.loadPageListItems, ())

        nowPage = 1
        while self.enable:
            if len(self.stories) > 0:
                pageStories = self.stories[0]
                del self.stories[0]
                self.getOneStory(pageStories, nowPage)  #输出段子
                nowPage += 1

spider = Baike()
spider.start()

运行过程：运行后，每按一次Enter就弹出一条，输入quit则退出程序 

收获：

因为不太熟悉python的模块等语法，在用bs写时捣鼓了一下午才成功。个人感觉用bs4库比用正则表达式好用。

《python基础教程》：1、正则表达式并不是完全可读的。对于复杂的html代码和查询来说，表达式会变得乱七八糟而且不可维护；

2、正则表达式被html源代码束缚，而不是取决于更抽象的结构，这就意味着网页结构中很小的改变就会导致程序中断；

3、bs4库是专门用于屏幕抓取，可对html代码进行解析等