Hawk教程-命令行增量和自动化专题

• GitHub文档镜像
• 欢迎使用Hawk
• 快速教程
• 主要组件介绍
• 核心功能:
  • Hawk工程
  • Hawk任务市场
  • 数据表和数据库连接
  • 网页采集器
  • 数据清洗
• [模块和算子]
  • 转换器
  • 过滤器
  • 执行器
  • 生成器
• 常见问题
• 更新日志作者和捐赠列表
• 专题:
  • 子任务引擎
  • 动态页面抓取专题
  • 命令行增量和自动化
  • 编译和扩展开发
• 案例:
  • 参考这里
• 发布文章:
  • Hawk1:如何从互联网采集海量数据？租房,二手房,薪酬
  • Hawk2:120项改进开源超级爬虫Hawk2.0重磅发布
  • Hawk3:终于等到你:图形化开源爬虫Hawk3发布
  • Hawk5:革命性的任务市场开源图形化爬虫Hawk5发布
• 故事:
  • 设计Hawk背后的故事(2016)
  • 花一年时间,给爬虫Hawk再讲个故事(2018)

命令行增量和自动化专题

Hawk虽然是图形化软件，但依然支持命令行和自动化抓取，本专题讨论如何增量，和自动化定时抓取，以及当遇到错误时（如网络不通，导致一部分请求失败）需要重试的场景。

1.命令行执行

(本特性的测试还不完全，预计2018年11月发布）

由于大多数服务器都基于Linux实现，因此跨平台成为Hawk必备的功能。但Hawk依赖的WPF(一种windows的图形界面技术)只能在windows上运行。 因此为了变通，可在Hawk上图形化设计工作流，并在其他平台上解释xml执行。

• 一种是实现Python的执行器(etlpy)，但由于Python和C#的众多区别，会导致很多不兼容性，该方案已放弃。
• 另一种方案，是通过.NetCore实现跨平台，我们采用了本方案。

定时抓取需依赖于Hawk的命令行实现HawkScheduler， 它位于Hawk可执行文件的同目录中。使用如下命令指定要执行的工程文件路径和任务名:

HawkScheduler -p project.xml -t task_name

使用HawkScheduler -h来获得相关帮助。

注意，由于命令行本身的性质，以下特性将不可用：

• 写入数据表: 将生成可执行文件同目录下，以数据表为名称的txt文件
• TODO：增加其他不可支持的特性

2.增量抓取

增量抓取比较困难，各网站皆有不同，此处我们提供一些技巧。

一种类型是新闻型的，按照时间排列，并更新最新的新闻，最朴素的思路是记录上一次抓取的最后位置。然后在新的一轮抓取中，不停地向前获取，直到发现上一次抓取后中断。

此处需要两个核心技术点：

2.1.保存上一次存储的关键字

首先找到代表数据特征的列（如ID，标题等），能唯一标识该数据。如果找不到唯一的列，可通过合并多列来组合。

在这一列拖入更新到配置 , 输入要更新的配置的名称column，则在执行时，该模块每经过一行数据，就会自动更新该列的值到全局配置(TODO：路径)中。配合软件的自动保存机制，该值会随时写入配置文件中。

2.2.下次执行时定位到中断点

在任务配置时，添加正则过滤，正则项的值填写为{column}，代表从配置中读取该值。

3.定时抓取

在实现命令行功能后，定时抓取也就变得非常简单了。

在Linux平台上，可使用crontab来执行任务，具体可参考这里

在Windows上则可以使用任务计划来执行。可以参考这里

TODO： 增加更细致的写法

4.回补数据方法

本功能简直是神器，Hawk能够精确地记录失败的位置和上下文，并在重试时将配置错误和失败部分补充回来。配置非常简单，但功能很强大。

开启该功能，需要在系统设置中勾选生成错误集合, 则数据清洗在执行时，就会将错误的信息保存到一张新表中，除了当时错误时的参数输入列之外，增加的列如下：

• __SysETL: 产生错误时的任务名
• __SysTime: 错误时间
• __SysERROR: 错误原因
• __SysObjectID: 产生错误的模块唯一ID

出现错误后，可使用如下流程创建补数据任务:

1. 根据错误的信息，确定修改的策略，如增加延时，改进参数，修复bug等..
2. 添加从数据表生成, 表名为刚才创建的错误表表名。
3. 可以按需拖入延时，或其他你希望的过滤，转换等模块
4. 拖入重试补数据, 勾选是否要执行原来的执行器。
5. 如果想把回补的数据写到另外一张表，则可拖入写入数据表, 或写入数据库. 或任何你想要处理的流程。

在补数据时，尽量使用串行模式，以获取更平稳的表现。可能在补充数据时会再次发生错误，此时只要将写入数据表的名称改为新产生错误的表名即可。

其原理是定位到发生错误的模块，并使用当时的参数重新调用该模块之后的任务。这就是流系统的强大之处。