WebMagic Avalon设计草图

创建爬虫

这里可以配置爬虫的基本信息。

爬虫的抽取逻辑PageProcessor采用模板化的思想,编写一个Java文件之后,提供一些属性注入点,程序会自动根据注入点,产生表单。

WebMagic Avalon设计草图_第1张图片

管理爬虫

这里可以查看爬虫运行状态,并对爬虫进行管理。

worker是正在运行的机器。

爬虫状态包括总共url,下载页面数,失败数等。失败数可以点击查看详细结果及异常。

WebMagic Avalon设计草图_第2张图片

你可能感兴趣的:(webmaigc)