爬虫框架- feapder + 爬虫管理系统 - feaplat 的学习简记

feapder 的使用

feapder是一款上手简单，功能强大的Python爬虫框架
feapder 官方文档
文档写的很详细，可以直接上手。
基本命令：

1. 创建爬虫项目

feapder create -p first-project

2. 创建爬虫

feapder create -s <spider_name> <spider_type>

3. 创建 item

feapder create -i <item_name>

feaplat 爬虫管理系统

特性：

• 支持任何python脚本，包括不限于feapder、scrapy
• 支持浏览器渲染，支持有头模式。浏览器支持playwright、selenium 支持部署服务，可自动负载均衡 支持服务器集群管理
• 支持监控，监控内容可自定义 支持起多个实例，如分布式爬虫场景 支持弹性伸缩 支持4种定时启动方式
• 支持自定义worker镜像，如自定义java的运行环境、机器学习环境等，即根据自己的需求自定义（feaplat分为master-调度端和worker-运行任务端）
• docker一键部署，架设在docker swarm集群上

部署

详细文档地址，跟着文档一步一步走，就没什么大问题的。

感觉还是很好用的 ~~