GitHub文档镜像
欢迎使用Hawk
快速教程
主要组件介绍
核心功能:
- Hawk工程
- Hawk任务市场
- 数据表和数据库连接
- 网页采集器
- 数据清洗
[模块和算子]
- 转换器
- 过滤器
- 执行器
- 生成器
常见问题
更新日志作者和捐赠列表
专题:
- 子任务引擎
- 动态页面抓取专题
- 命令行增量和自动化
- 编译和扩展开发
案例:
- 参考这里
发布文章:
- Hawk1:如何从互联网采集海量数据？租房,二手房,薪酬
- Hawk2:120项改进开源超级爬虫Hawk2.0重磅发布
- Hawk3:终于等到你:图形化开源爬虫Hawk3发布
- Hawk5:革命性的任务市场开源图形化爬虫Hawk5发布
故事:
- 设计Hawk背后的故事(2016)
- 花一年时间,给爬虫Hawk再讲个故事(2018)

更新日志和作者

1.感谢使用

Hawk是沙漠君周六日坐在马桶上“呕心沥血”地改出来的。真的比不上那些商用软件的“妖艳贱货”，真的，“能用”就是对它最大的赞美了。Hawk任何问题，欢迎给我发邮件。

[email protected]

Hawk的支持QQ群：546750531

如果Hawk帮到了你，欢迎给Hawk的GitHub点个star。关注“沙漠之鹰”公众号，或通过支付宝给Hawk作者打赏！

[图片上传失败...(image-11780-1559957716000)]

2.更新日志

本日志记录每个版本相比上一版新增的功能，对于bug修复则可参考源代码下的Docs/update.md。

2.1.Hawk3.5

2018.11发布
多国语言支持
任务市场，用户可发布和重用线上任务
内置全新的文档系统
自动更新软件，自动保存任务
可在工程中保存数据集
任务可断点重跑
异常日志自动上报和埋点系统
更强化的监控调试功能：更快确定错误点
增强XPath筛选器的友好性
全局配置系统
跨平台执行:Linux, MacOS(命令行基于.NETCore)

2.2.Hawk3

重写优化网页采集器和数据清洗的界面
优化子任务交互
单文档模式下的手气不错
支持jQuery
简单的监控：http请求次数等

2.3.Hawk2.1

2016.11 发布
修复部分稳定性问题

2.4.Hawk2

2016.10 发布
支持动态嗅探，超级模式
MySQL支持
子任务

2.5.Hawk1

数据表和数据库
手气不错
拖拽式数据清洗

3.联系作者：

就叫我沙漠君吧！微信公众号：沙漠之鹰，欢迎勾搭哦，留言可以加本人微信。

笔者目前从事互联网金融相关的工作，与推荐营销，风险定价，深度学习相关，工作非常繁忙。爬虫和Hawk是研究生时代的副产物，更多的故事可以看8.1 设计Hawk背后的故事

个人博客：

http://www.cnblogs.com/buptzym/

4.捐赠地址

接受8的正整数倍的捐赠，您对我的支持是我不断改善软件的动力：

支付宝转账二维码：

[图片上传失败...(image-15c7dd-1559957716000)]

1.支付宝

以下是支付宝捐赠列表（排名不分先后）：

2.2019

账号	日期	金额
*传巧	5.3	666
*海平	4.6	99
*传巧	4.6	88
*丹璇	4.6	40
*静静	2.27	25.68 （妹子，提供了答疑）
*泽涛	1.17	16+3 （不知是不是游泳健将）

3.2018

账号	日期	金额
*江江	10.15	8
- *喆	10.12	9
*宏飞	7.19	8
*宇	7.1	5
*龙生	6.10	8
*旭东	4.15	8
*海	3.20	64

Hawk教程- 更新日志和捐赠列表