利用scrapinghub发布你的爬虫项目

用scrapy框架写了一个爬虫项目，想发布到线上让他自动执行，搜索了一下，发现有个叫scrapinghub的平台，可以免费发布scrapy项目，所以就来试一下。

注册scrapinghub账号并登陆

直接打开scrapinghub注册，这里没什么说的。

注册

可以直接用Google账号或者GitHub账号登陆，我就选择GitHub登陆啦~
登录之后是这样的，是空的，没有项目：

登陆之后

我们点击右上角的Create Project来创建一个Project，这里和GitHub类似。

创建空的项目

创建一个project

这里Organization已经填好了，用GitHub账号登陆的话，这里就是你的GitHub昵称，其他账号登录的应该类似。
Name这里就随便填写一个名称就好了，主要是为了方便以后的project管理。
项目类型就选Scrapy，那个Portia我还没去了解它到底是干啥的。弄好了之后就点Create。

一个空的爬虫项目

创建好了之后，我们会得到一个空的project，里面是没有代码的，接下来需要将写好的scrapy爬虫放进去，这里和GitHub里面往仓库里面提交代码类似。

准备发布

点击那个Code & Deploys，到发布页面。这里有两种发布方式可供选择：

• 第一种方式

发布scrapy爬虫

在你的pycharm中安装shub库，这是一个用于发布scrapy项目到scrapinghub的库。或者你可以直接在命令行中使用pip install shub命令来安装，这里我选择方便的pycharm。
可能有的小伙伴不知道pycharm有如此方便的三方库管理功能。

安装shub

打开项目下的pycharm命令行，如果你的项目不是在pycharm中构建的也没关系，可以在系统命令行中切换到项目目录中执行相关命令。
使用shub login命令进行登陆，这里会让你输入API key，你可以在这里找到你的API key：

选择账户设置

选择 API key

然后复制，粘贴到命令行就ok了。

在发布之前还有一个需要注意的地方：
如果你的项目中使用了scrapy之外的第三方库，则需要在项目中进行声明，这样scrapinghub才会为你的项目添加相应的第三方库。声明的过程很简单，在你的项目根目录下添加requirements.txt文件，并列出你所需要额外添加的第三方库，类似下面这样，写清楚你需要的三方库名称和版本。

添加额外支持

再新建一个scrapinghub.yml文件，里面是这样的：

scrapinghub.yml

这个大家应该知道是做什么的。其实这个文件在发布项目的时候可以自动生成，但是如果你的爬虫需要依赖一些scrapinghub所没有的三方库的时候，还是最好自己手动新建一个，如果你懒得自己建的话，可以先发布项目，生成了scrapinghub.yml文件之后，再去编辑它，当然scrapinghub会默认提供一部分常用的第三方库，不需要手动声明。

确认无误之后，就可以用shub deploy [project id]命令进行发布了。
project id可以在你的网页地址栏中找到：
细心的同学可以看到发布项目的步骤和命令已经在页面的右下方写出来了，如果看不懂的话还有贴心的视频教程。

project id

发布成功之后：

发布成功

回到浏览器中刷新一下页面就看到项目中已经有代码了（请自动忽略shub的更新提示，如果你的shub版本是最新的，就不会出现这个提示）。

本地发布成功的页面显示

• 2.从GitHub发布
  接下来我们来说一说怎么从GitHub发布。
  把选项卡切换到GitHub，你会发现是这样的：

GitHub未建立连接

点connect一步步操作，建立与GitHub的连接。

与GitHub代码仓库建立连接

这里要选择你的scrapy项目所在的仓库，然后点击Connect repo建立连接。

连接成功

然后点击绿色的发布分支按钮就可以了，发布成功之后会显示和之前从本地发布一样的页面，这里不再赘述。

项目管理

发布成功之后回到主面板，点击项目名称进入到项目管理页面。

管理

看到右上角那个绿色的run按钮了没，点它，你的spider就在scrapinghub上运行起来了，完全不需要自己去架设服务器。
并且在下面可以看到爬虫的运行日志。如果你有多个爬虫，可以在scrapy的配置文件中声明爬虫的优先级，scrapinghub会按照优先级顺序依次执行。并且会根据当前的状态，分类列出你的爬虫任务。

定时执行

scrapinghub还有一个强大的功能就是定时执行爬虫任务，一般我们的需求就是每天定时爬取某个站点来获取更新的数据，刚好定时任务就派上用场了。
在scrapinghub中创建定时任务也非常的简单。

在菜单栏左侧点击Periodic Jobs，就进入到定时任务面板了。

创建定时任务

点击绿色的Add Periodic job按钮：

创建定时任务

选择你需要定时执行的spider名称，在Priority中选择执行任务的优先级，在右边的时间设置面板中设置你要执行的时间，点save保存，这样一个定时的spider就创建好了，你就什么都不用关了，就每天从数据中取数据就完了。
当然还有一些高级用法，比如添加参数什么的，就靠大家自己摸索了。

最后

如果你的爬虫需要更新，就改完代码重新发布一遍就可以了。还有其他很多好用的功能，大家可以多多探索。

抓到的一些数据