scrapyd+gerapy的项目部署

scrapyd+gerapy的项目部署：

简单学习，后续跟进完善

声明：

　　　1）仅作为个人学习，如有冒犯，告知速删！

　　　2）不想误导，如有错误，不吝指教！

环境配置：

scrapyd下载：

　　pip install scrapyd -i https://pypi.com/simple

scrapyd部署：

　　scrapyd-deploy -p 项目名

注意：需要切换到项目的根目录下运行

 

scrapyd遇到的问题：

1. 'scrapyd-deploy' 不是内部或外部命令，也不是可运行的程序,

2. 解决方法：

   1. 找到scrapyd-deploy文件（Scripts文件夹下），这里每个人配置的pip安装路径不同 ；

   2. 然后在这个文件夹内创建两个文件，scrapy.bat 和 scrapyd-deploy.bat （新建 txt 文本文档，然后更改后缀名为 .bat）

   3. 编辑scrapyd-deloy.bat：

       @echo off
       #python.exe路径 scrapyd-deploy路径
       C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe    C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd-deploy %*
       ​

   4. scrapy.bat编辑：

       @echo off
       #python.exe路径 scrapyd路径
       C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd %*

      注意：上面路径没有分行，两个路径之间有空格!

   5. 保存，新起cmd，运行scrapyd-deploy -h,出现以下信息即成功：

       1  Usage: scrapyd-deploy [options] [ [target] | -l | -L  ]
       2  ​
       3  Deploy Scrapy project to Scrapyd server
       4  ​
       5  Options:
       6    -h, --help            show this help message and exit
       7    -p PROJECT, --project=PROJECT
       8                          the project name in the target
       9    -v VERSION, --version=VERSION
      10                          the version to deploy. Defaults to current timestamp
      11    -l, --list-targets    list available targets
      12    -a, --deploy-all-targets
      13                          deploy all targets
      14    -d, --debug           debug mode (do not remove build dir)
      15    -L TARGET, --list-projects=TARGET
      16                          list available projects on TARGET
      17    --egg=FILE            use the given egg, instead of building it
      18    --build-egg=FILE      only build the egg, don't deploy it

       

3. 运行部署命令后报错：

   1  C:\Users\Administrator\PycharmProjects\code\xbhog>scrapyd-deploy -p xbhog
   2  Packing version 1595062659
   3  Deploying to project "xbhog" in http://localhost:6800/addversion.json
   4  Deploy failed: 
   5  C:\Users\Administrator\AppData\Local\Programs\Python\Python37\python.exe: can't open file 'C:\Users\Administrator\AppData\Local\Programs\Python\Python37\Scripts\scrapyd': [Errno 2] No such file or directory

    

4. 解决方法：

   1. 先在一个cmd窗口执行scrapyd

   2. 然后再用另一个cmd窗口部署项目

 

gerapy安装以及使用：

　　pip install gerapy -i https://pypi.com/simple

使用：

• 1.在本地创建空文件夹

• 2.进入文件夹，建立项目（gerapy init）

• 3.进入生成的gerapy文件中

• 4.对数据库进行初始化（gerapy migrate）

• 5.创建超级管理员（gerapy initadmin）---账号密码：admin

• 6.运行：gerapy runserver

 

scrapyd+gerapy搭配使用的效果图: