pyspider框架使用方法——以爬取樱花动漫网为例。

本篇文章内容：
1.pyspider框架使用方法
2.爬取樱花动漫网url，存到数据库。
3.源代码。

1.pyspider框架使用方法
安装和配置的过程，就不介绍了。参考官方文章。
如果你是在window下安装就直接下载源码就好。gthub源码。

安装好后运行，在linux下命令行执行

python3 run.py

window下运行安装包的 run.py
如果在命令行下反馈没有报错，就成功使用默认配置运行了pyspider。
你可以用浏览器访问 127.0.0.1:5000或者localhost:5000 ，也就是本机端口5000，如果是在云端服务上配置的，需要确保你对应的端口已经开启。
以阿里云服务器为例，你可以在

添加打开5000端口

在pyspider正常启动的情况下，浏览器访问超时，多数是因为上述端口没有打开。
到此，如果都没问题即可看到pyspider的网页界面。

你可以在这管理你正在运行的项目。
点击create，填写项目名称和起始站点就完成了项目的创建。

项目的删除方法
将要删除项目的group改为delete，status改为stop，等待24小时，即可删除。
快速删除可以修改配置文件 config.json，路径一般在/etc/pyspider/config.json
vim config.json
在scheduler下，修改delete_time，下面是3秒即删。

{   
  "scheduler":{
    "delete-time":3
  }
}

创建完项目后，即可以看到默认的项目格式。

左边是显示界面，右边是编写的项目代码。
crawl_config是配置参数，你可以参照官方文档添加自己配置参数。

def on_start(self):
self.crawl(‘START_URL’, callback=self.index_page)
on_start是执行项目时第一个被调用的函数，__START_URL__是项目起始的url，这里即是樱花动漫的索引目录。self.crawl这里表示将项目起始的url代入index_page函数中执行。

def index_page(self, response):
for each in response.doc(‘a[href^=“http”]’).items():
self.crawl(each.attr.href, callback=self.detail_page)

index_page是项目的第二次筛选工具，即从__START_URL__获取更多更详细的url进行爬取。
上述表示将当前url中所有的链接返回给detail_page

def detail_page(self, response):
    return {
        "url": response.url,
        "title": response.doc('title').text(),
    }

def detail_page是最后把要爬取的页面进行处理，返回爬取的内容。

2.爬取樱花动漫网url，存到数据库。

这个就是我们需要爬取的页面 起始的url，你可看到他一共有7000多条记录，592页。
所以我们的爬取思路就是将每一页翻页的url反馈给index_page，每一个番剧页面的url反馈给detail_page做进一步处理。
再打开数据库将爬取内容保存。
你可用pypider提供的标签提取工具，提取url的标签。
点击 run 在follow里，选择执行的页面点击绿色箭头，选择wed表示方式，即可看到当前页面，再选择enable css sellector helper 选择你要爬取的标签，即可在页面上看到标签路径，点击 前进键 即可输出目标路径。你也可以用自己熟悉的提取方法，有时候enable css sellector helper 会失效。

3.源代码。

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2019-08-20 12:50:04
# Project: dilidili

from pyspider.libs.base_handler import *
import re
import pymysql


class Handler(BaseHandler):
    crawl_config = {
    }

    #连接数据库
    def __init__(self):
        config = {
          'host':'你的数据库地址',
          'port':3306,
          'user':'你的数据库用户名',
          'password':'你的数据库密码',
          'database':'你的数据库名',
          'charset':'utf8mb4',
          }
 
        # 连接数据库
        self.db = pymysql.connect(**config)
    
    def add_Mysql(self,url, title):
        try:
            cursor = self.db.cursor()
            sql = 'insert into dilidili_db(url, title) values ("%s","%s")' % (url, title);   #插入数据库的SQL语句
            print(sql)
            cursor.execute(sql)
            print(cursor.lastrowid)
            self.db.commit()
        except Exception as e:
            print(e)
            self.db.rollback()
            
    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('http://www.imomoe.io/so.asp?page=3&fl=0&pl=time', callback=self.index_page)

    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        
        for each in response.doc('.l h2 > a').items():
            self.crawl(each.attr.href, callback=self.detail_page)
        for each in response.doc('.pages > a').items():
            print(each)
            self.crawl(each.attr.href, callback=self.index_page)
                
    @config(priority=2)
    def detail_page(self, response):
        url = response.url
        title = response.doc('title').text()
        self.add_Mysql(url, title)  #插入数据库
        return {
            "url": response.url,
            "title": response.doc('title').text(),
        }

如果不需要保存数据，将相关代码删除即可。
保存后返回管理界面，将status设置为running或debug，点击run，如果项目没有保存即可在Results看到爬取内容


如果想要pyspider 24小时运行，循环爬取网页，就需要用Supervisor监控进程管理pyspider。
Supervisor也是pyspider推荐的管理程序，你可理解为专门管理软件的软件，它能保持pyspider一直运行在它停止时重新启动pyspider，就像保姆一样。
你可以参考这篇文章关于Supervisor的配置，不过，这里并不是分布式部署，所以没有将pyspider的功能分开管理。更详细的方法，你可看Supervisor的说明文档。
在网页端，我们可以用将对数据库搜索返回爬取内容。