pyspider

pyspider是一个爬虫架构的开源化实现

主要的功能需求是：

• 抓取、更新调度多站点的特定的页面
• 需要对页面进行结构化信息提取
• 灵活可扩展，稳定可监控 而这也是绝大多数python爬虫的需求 —— 定向抓取，结构化化解析。但是面对结构迥异的各种网站，单一的抓取模式并不一定能满足，灵活的抓取控制是必须的。为了达到这个目的，单纯的配置文件往往不够灵活，于是，通过脚本去控制抓取是我最后的选择。 而去重调度，队列，抓取，异常处理，监控等功能作为框架，提供给抓取脚本，并保证灵活性。最后加上web的编辑调试环境，以及web任务监控，即成为了这套框架。

pyspider的设计基础是：以python脚本驱动的抓取环模型爬虫

• 通过python脚本进行结构化信息的提取，follow链接调度抓取控制，实现最大的灵活性
• 通过web化的脚本编写、调试环境。web展现调度状态
• 抓取环模型成熟稳定，模块间相互独立，通过消息队列连接，从单进程到多机分布式灵活拓展

安装pyspider:

添加依赖

sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml libssl-dev zlib1g-dev

sudo apt-get install phantomjs

pip3 install pyspider

启动:

pyspider all

以链家为例 ：

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2019-01-09 14:03:20
# Project: lianjia

from pyspider.libs.base_handler import *
import json
import pymongo
import pymysql


class Handler(BaseHandler):
    #pyspider爬虫的主类，在这里进行爬取，解析，和存储数据
    
    #crawl_config:在这个参数中可以做全局的设置(UA,Headers,proxy..)
    crawl_config = {
        'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
        #'itags':'v2'
    }
    
    #创建mongodb数据库连接
    mongo_client = pymongo.MongoClient('127.0.0.1',27017)
    #获取要凑走的数据库
    db = mongo_client['lianjia']
    #获取数据库下的集合
    col = db['lianjiacol']
    
    
    #创建数据库连接
    mysql_cli = pymysql.Connect(
        '127.0.0.1','root','ljh1314',
        'lianjia',3306,charset='utf8'
    )
    #创建游标
    cursor = mysql_cli.Cursor()

    @every(minutes=24 * 60)
    #定时:每隔一天进行重复请求（重新执行on_start）
    def on_start(self):
        #crawl:根据crawl发起请求(url,proxy,itag,user-agent,headers,exetime,callback,save,parmas,data,fetch_type,)
        self.crawl('https://bj.lianjia.com/ershoufang/', callback=self.index_page)

    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        
        #response.doc:是一个pyquery对象
        #response.etree:返回的是一个lxml
        #提取每一个房源的详情url地址
        hourse_infos = response.doc('ul.sellListContent li.clear.LOGCLICKDATA')
        
        for hourse in hourse_infos.items():
            detail_url = hourse('div.title a').attr.href
            self.crawl(detail_url,callback=self.detail_page)
            
        #提取下一页发起请求
        #data = response.doc('div.page-box.house-lst-page-box').attr.page-data
        data = response.etree.xpath('//div[@class="page-box house-lst-page-box"]/@page-data')[0]
        print(data)
        json_data = json.loads(data)
        #print('nextdata',json_data)
        cur_page = int(json_data['curPage'])
        total_page = int(json_data['totalPage'])
        if cur_page < total_page:
            #发起下一页请求
            next_page = cur_page+1
            next_url = 'https://bj.lianjia.com/ershoufang/pg%s/' % str(next_page)
            self.crawl(next_url,callback=self.index_page)
            
        #next_url = response.doc()
       # for each in response.doc('a[href^="http"]').items():
       #     self.crawl(each.attr.href, callback=self.detail_page)

    @config(priority=2)
    def detail_page(self, response):
        print('二手房详情获取成功')
        #获取二手房详情的数据
        info = {}
        #标题(获取标签的属性和文本)
        #info['title'] = response.doc('h1.main').attr.title
        info['title'] = response.doc('h1.main').text()
        #其他信息
        info['subTitle'] = response.doc('div.sub').text()
        #关注人数
        info['attenNum'] = response.doc('#favCount').text()
        #观看人数
        info['cartCount'] = response.doc('#cartCount').text()
        #总价
        info['totalPrice'] = response.doc('div.price  .total').text()
        #单价
        info['price'] = response.doc('span.unitPriceValue').text()
        #规模
        info['model'] = response.doc('div.room .mainInfo').text()
        #楼层
        info['foolr'] = response.doc('div.room .subInfo').text()
        #小区
        info['communityName'] = response.doc('div.communityName a.info ').text()
        
        #print(info)
        
        return info
    
    def on_result(self,result):
        print('获取到了结果',result)
        if result:
            try:
                #self.col.insert(result)
                sql = """
                INSERT INTO lianjiadb(%s)
                VALUES (%s)
                """ % (','.join(result.keys()),','.join(['%s']*len(result)))
                data = list(result.values())
                self.cursor.exectue(sql,data)
                print('数据存储成功')
            except Exception as err:
                print('数据插入失败',err)
        
        #return {
        #    "url": response.url,
        #    "title": response.doc('title').text(),
        #}


        ```