Scrapy分布式爬虫可视化调度框架Gerapy升级django版本自用

Gerapy 是一个基于Scrapyd、Scarpyd API、Django、Vue.js、Element UI搭建的分布式爬虫管理框架。

由于里面的django版本是1.11.26的,不兼容我常用的版本,所以换成2.2.x的

git clone https://github.com/Gerapy/Gerapy

修改requirements.txt

django==2.2.6

修改gerapy/server/core/urls.py

from django.urls import re_path  # 修改第一行

# 搜索替换url为re_path,如下
urlpatterns = [
    re_path(r'^$', views.index, name='index'),
    ...
]

修改后的我上传到了

git clone -b dev https://github.com/toyourheart163/Gerapy

到setup.py同级文件下安装

python3 setup.py install

使用中的问题

调了时期后时间还是有问题。

你可能感兴趣的:(网页爬虫)