爬虫管理平台 Crawlab v0.4.6 发布

前言

本次更新主要集中在日志管理、任务触发、爬虫展示等优化，以及加入 Node.js SDK。

更新日志

功能 / 优化

• Node.js SDK. 用户可以将 SDK 应用到他们的 Node.js 爬虫中.
• 日志管理优化. 日志搜索，错误高亮，自动滚动.
• 任务执行流程优化. 允许用户在触发任务后跳转到该任务详情页.
• 任务展示优化. 在爬虫详情页的最近任务表格中加入了“参数”列. #295
• 爬虫列表优化. 在爬虫列表页加入"更新时间"和"创建时间". #505
• 页面加载占位器.

Bug 修复

• 定时任务配置失去焦点. #519
• 无法用 CLI 工具上传爬虫. #524

产品规划

• 结果展示

  • 支持其他数据库

• 爬虫

  • 支持 Git 仓库同步
  • 更好的 Scrapy 支持
  • 更好的长任务支持

• 可配置爬虫

  • 可配置爬虫支持 Splash
  • 可配置爬虫支持 CrawlSpider
  • 可配置爬虫支持正则表达式字段
  • 可配置爬虫支持转化为自定义爬虫

• 任务

  • 任务重试机制

• 定时任务

  • 日历展示

• 全局

  • 支持版本更新检测
  • 支持版本更新日志展示

• 服务器

  • 支持终端操作 Docker 镜像

• SDK

  • 更多命令支持
  • 支持 Golang、Java
• 插件系统

参考

• Github: https://github.com/crawlab-te...
• Demo: https://crawlab.cn/demo

社区

如果您觉得 Crawlab 对您的日常开发或公司有帮助，请加作者微信 tikazyq1 并注明 "Crawlab"，作者会将你拉入群。欢迎在 Github 上进行 star，以及，如果遇到任何问题，请随时在 Github 上提 issue。另外，欢迎您对 Crawlab 做开发贡献。