python爬虫之pyspider web爬虫框架简单使用

pyspider简介

官方文档：http://docs.pyspider.org/

中文网址：http://www.pyspider.cn/book/pyspider/

最新版本: https://github.com/binux/pyspider/releases

PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。在线示例： http://demo.pyspider.org/

pyspider是作者之前做的一个爬虫架构的开源化实现。主要的功能需求是：

• 抓取、更新调度多站点的特定的页面
• 需要对页面进行结构化信息提取
• 灵活可扩展，稳定可监控 而这也是绝大多数python爬虫的需求 —— 定向抓取，结构化化解析。但是面对结构迥异的各种网站，单一的抓取模式并不一定能满足，灵活的抓取控制是必须的。为了达到这个目的，单纯的配置文件往往不够灵活，于是，通过脚本去控制抓取是我最后的选择。 而去重调度，队列，抓取，异常处理，监控等功能作为框架，提供给抓取脚本，并保证灵活性。最后加上web的编辑调试环境，以及web任务监控，即成为了这套框架。

pyspider的设计基础是：以python脚本驱动的抓取环模型爬虫

• 通过python脚本进行结构化信息的提取，follow链接调度抓取控制，实现最大的灵活性
• 通过web化的脚本编写、调试环境。web展现调度状态
• 抓取环模型成熟稳定，模块间相互独立，通过消息队列连接，从单进程到多机分布式灵活拓展

安装:

添加依赖

sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml libssl-dev zlib1g-dev

sudo apt-get install phantomjs

pip3 install pyspider

启动:

pyspider all

开启编写一个pyspider项目

from pyspider.libs.base_handler import *
import pymongo,pymysql

class Handler(BaseHandler):
    """
    Handler 就是 pyspider 爬虫的主类，我
    们可以在此处定义爬取、解析、存储的逻辑。
    整个爬虫的功能只需要一个 Handler 即可完成
    """

    #crawl_config 属性。我们可以将本项目的
    #所有爬取配置统一定义到这里，如定义 
    #Headers、设置代理等，配置之后全局生效
    crawl_config = {
    }

    #mongodb数据库连接
    mongocli = pymongo.MongoClient(host='localhost', port=27017)
    db = mongocli['jobbole']
    jobbolearticle = db['jobbolearticle']

    #mysql数据库连接
    client = pymysql.Connect(
        'localhost','root','ljh1314',
        'class1804',charset='utf8'
    )
    cursor = client.cursor()

    #on_start() 方法是爬取入口，初始的爬取
    #请求会在这里产生
    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('http://blog.jobbole.com/all-posts/', callback=self.index_page)

    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        print(response)
        for each in response.doc('a[class="page-numbers"]').items():
            self.crawl(each.attr.href, callback=self.detail_page)

    @config(priority=2)
    def detail_page(self, response):

        self.index_page(response)

        list = response.doc('#archive .post.floated-thumb')
       # print(list)
        for item in list.items():
            print('拿到了数据')
            print(type(item))
            title = item('a.archive-title').text()
            url = item('a.archive-title').attr.href
            print(title,url)
            return {
                'title':title,
                'url':url,
            }

    #方法中return的结果会执行on_result
    def on_result(self,result):
        #可以在这里做数据的持久化
        print(result)

        #mysql数据库存储
        sql = """
        INSERT INTO jobbole()
        VALUE (%s,%s)
        """

        try:
            self.cursor.execute(sql,[result['title'],result['url']])
            self.client.commit()
        except Exception as err:
            print(err)
            self.client.rollback()

        #mongodb数据库存储
        self.jobbolearticle.insert(result)