初学爬虫，爬取糗百段子（修改版，亲测）

这几天在网上看爬虫教程，有一个教程觉得写得很好，研究了一下，感谢作者做出这么好的教程。

原网页地址为：http://blog.csdn.net/column/details/why-bug.html

这个代码也是基于原作者爬虫代码修改而来，原网页地址为：http://blog.csdn.net/pleasecallmewhy/article/details/8932310

在代码中，已注释一些自己的理解，详尽之处请参考原文。

另外，暂时还没学会BS4的用法，也没有爬取图片，这些功能也会慢慢修改，欢迎看到此篇文章的人多交流，共同学习。

#-*- coding:utf-8 -*-

# from bs4 import BeautifulSoup
import urllib2
import re
import time
import thread

#建立一个爬虫的类
class spider:

    def __init__(self):
        #首先确定加载的页数
        self.page = 1
        self.pages = []
        # 后面有循环
        self.loop = False

    # 扣除段子部分的代码
    # 这个部分大部分爬虫都是一样
    def getPage(self,page):
        # 糗事百科地址，这个不要弄错
        # 爬其他东西把地址换一下就可以
        # 这个部分是伪装成浏览器进入糗百的主页
        url = "http://m.qiushibaike.com/hot/page/" + page + '/'
        user_agent = 'Mozilla/4.0(compatible;MSIE 5.5; Windows NT)'
        headers = { 'User-Agent' : user_agent}
        req = urllib2.Request(url,headers = headers)
        myResponse = urllib2.urlopen(req)
        # 抓取页面
        myPage = myResponse.read()
        # 对爬下来的内容进行解码，转换成Unicode编码
        unicodePage = myPage.decode('utf-8')
        # soup = BeautifulSoup(myResponse.read())
        # contents= soup.find_all('div class="content"','/div')
        # 还在学BS4爬东西，暂时没用到
        # 根据网页源代码的特点找出段子的内容
        # 标记为<class="content"></div>
        contents=re.findall('<div.*?class="content".*?>(.*?)</div>',unicodePage,re.S)
        list = []
        # 将段子保存进列表
        for content in contents:
            list.append(content.replace("\n",""))
        return list


    #如果页面中的段子已经扣完，想扣新的段子
    def loadPage(self):
        while self.loop:
            if len(self.pages) < 2 :
                # 当加载的段子条数小于两条的时候，读取第二页第三页内容
                try:
                    # self.getPage返回的是list[]，已经是这一页所有的段子
                    myPage = self.getPage(str(self.page))
                    # 这是第二页的第一条
                    self.page += 1
                    self.pages.append(myPage)
                except:
                    print u"无法链接糗事百科"
            else:
                time.sleep(1)


    def showPage(self,nowPage,page):
        # nowPage中只有一个元素，list遍历出来只打印出于nowPage中相同的元素
        for list in nowPage:
            print u'第%d页\n' % page , list , '\n'
            next = raw_input('>next\n')
            if next == "exit":
                self.loop = False
                print u"已退出爬虫程序"
                break


    def start(self):
        self.loop = True
        page = self.page

        print u"程序正在加载中,正在寻找段子,请稍后....\n"

        # 多线程是个坑，可以做很多事情
        thread.start_new_thread(self.loadPage,())

        # 开始加载
        while self.loop:
            # 保证pages中只有不超过两个元素，删除刚才显示的那一条段子
            if self.pages:
                # nowPage内有所有的段子
                nowPage=self.pages[0]
                # 删除第一条，存入下一条
                del self.pages[0]
                self.showPage(nowPage,page)
                page += 1

# 爬虫开始
print u"""
-----------------浏览糗事百科的段子--------------
    按下任意键继续
    退出请输入"exit"
    时间:2016.5.1
    语言:python 2.7
    包:BS,RE,URLLIB2,TIME,THREAD
------------------------------------------------
"""

print u"按下回车浏览今日糗百热门内容:"
raw_input('>')
if __name__=='__main__' :
    myModel = spider()
    myModel.start()