120项优化: 超级爬虫Hawk 2.0重磅发布!

沙漠君在历时半年,修改无数bug,更新一票新功能后,在今天隆重推出最新改进的超级爬虫Hawk 2.0!

120项优化: 超级爬虫Hawk 2.0重磅发布!_第1张图片

啥?你不知道Hawk干吗用的? 这是采集数据的挖掘机,网络猎杀的重狙!半年多以前,沙漠君写了一篇小软文(原文链接在此),推出了Hawk 640?wx_fmt=png

关注的人超级多有木有! Github上的小星星一下子增加到400!超多妹子在沙漠君的粉丝应援团里疯狂崇拜!然而这不是重点!重点是Hawk真的好多”小”问题…640?wx_fmt=png 

有朋友哭诉,刚启动小鹰它就冒烟了,还是烤肉味的!好不容易把小虫虫做好,碰了一下显示器,结果小虫虫就扑街了640?wx_fmt=png 

每次听到反馈,我都超想好好地把小鹰改造一番。但是!!你们想不到沙漠君工作有多忙!只有在洗手间的时候,我才空在手纸上写代码!

然而!自己挖的坑,哭着也要把它填完!这不,Hawk 2.0横空出世了!640?wx_fmt=png

二鹰新增哪些特性呢?

每当我在妹子们前炫耀Hawk的时候,每点一次鼠标,妹子们就一片赞叹,对,就这个效果。

裹脚布杀手:全面支持动态页面

二鹰全面支持动态网页,ajax和瀑布流。这是啥?你在刷微博看杨臭脚的时候,浏览器的地址显示你家幂幂的名字了吗? 没有吧?这就是动态网页,地址是隐藏在网页之中的!

怎么办?你只要把随便一条微博的一个关键词输入到“搜索关键字”那里,点“开始”自动嗅探。二鹰就会帮你抓到这个请求。不论再臭再长的裹脚布都不怕。

120项优化: 超级爬虫Hawk 2.0重磅发布!_第2张图片

大家都很喜爱鹰1的“手气不错”功能,但之前只能处理html,而很难处理内嵌js和json, 现在只要你勾选“超级模式”,不论返回的是何种数据类型。直接点“手气不错”,数据表格就完整出来了!其他什么都不用干!640?wx_fmt=png

啊啊啊太强大了,理论上没有二鹰抓不到的网站,除非你的关键字实在太蠢,或者网站做得太高级…

反反爬虫:增加代理

诶诶诶,你又被网站封IP了?谁让你这么不温柔?没有关系,在网页采集器里配置代理,小虫虫就又能接着干活了。

我知道你肯定会问,哪里找代理?那沙漠君就不造了。出门淘宝,想免费的话去翻一翻代理网站,或者搜索“ADSL拨号” 。但是不要用Hawk来做任何非法的用途哦(这段好多敏感词 

(爬数据适可而止,小心被查水表哦640?wx_fmt=png)

120项改进和优化

沙漠君本来在吃着火锅改着代码,但惊讶于Hawk中居然藏了那么多的bug,吓得我火锅里的毛肚都烫老了! 不过话说回来,只有这样你们才会想起我呀~

于是在发布第一版后的三个月,我断断续续修复了大概120个bug,错误清单上面长长的一片:

  • 在某些win7机器上运行不了啊

  • 开启嗅探再关闭软件,突然上不了网了啦

  • 把爬虫转换拖进去没反应啦,其实就是你没配置好…

不好意思,根本列不完,列完你也看不完。

不过,优化了这么多,我还是保证了前向兼容,之前大家设计的工程文件都能继续使用。反正不会随随便便就崩溃了。

其实Hawk的子流系统是个超酷的功能,可惜我觉得100个人里有一个会用就不错了。这是个啥呢? 简单说,你可以搭积木,先设计小虫虫,再拼成大虫虫。甚至支持自己和自己拼起来(专业点叫尾递归。邪恶点叫69?啊不要想歪 640?wx_fmt=png )

借助子流和内置的Python脚本系统,二鹰能达到图灵完备,实现任意复杂的逻辑,甚至能做刷票!640?wx_fmt=png反正口说无凭,你仔细去感受一下就是了。

沙漠君写了完整的文档!

大家最多的反馈,是XXX怎么用啊?泥萌也知道对程序猿来说,写文档就像和产品经理吵架一样痛苦。 我还是咬咬牙,决定写完整的文档!

程序员写文档一般都不是给地球人看的。但是沙漠君忍了。 恩,6个完整的手把手的例子,到每个模块的概要说明,想要的基本都能找到。如果有任何问题,直接在GitHub上留言提问,沙漠君实在受不了一个问题重复回答一百遍啊一百遍!640?wx_fmt=png

120项优化: 超级爬虫Hawk 2.0重磅发布!_第3张图片

文档也许现在不全,不过没关系,我会慢慢补充的,总得给我点时间啦。如果还有bug捏?我保证一口老血吐在你的屏幕上! 当然,如果bug够高级,你心爱的沙漠君可能会给你发红包哦。

在哪里获得?~~

Hawk号称是数据界的小确幸,它已经被全国政协,妇联工商联,各大企事业单位和个人广泛使用。

Hawk完全免费开源! 目前所有的文档和发行版,都在GitHub上能找到,点击阅读原文即可,下载包在Release栏目下。 之前的百度云,CSDN下载都可能不再维护。如果你喜欢它,最少是不是该成为沙漠之鹰微信公号的粉丝呀?是不是该在GitHub上Star一下呀? 640?wx_fmt=png

如果还找不到? 沙漠之鹰后台留言或留邮箱,链接和安装包直接发给你!

号外:沙漠之鹰获得原创权限啦

最后我要说的是,在大家的热心帮助下,沙漠之鹰在2016年11月21号,正式获得了原创评论功能,果然吐槽是有用的,总共才花了10天时间640?wx_fmt=png!要不然才叫遥遥无期呢。感谢党和人民的信任,各位票友对沙漠君的支持~ 我会继续努力,写更好的文章,欢迎大家用留言砸晕我的微信公号后台~

120项优化: 超级爬虫Hawk 2.0重磅发布!_第4张图片




沙漠之鹰"个人公众号,所有文章全部原创。任何形式的转载,演绎,必须经过公众号联系原作者获得授权,保留一切权利。


120项优化: 超级爬虫Hawk 2.0重磅发布!_第5张图片



内容转载自公众号

120项优化: 超级爬虫Hawk 2.0重磅发布!_第6张图片
沙漠之鹰
了解更多

你可能感兴趣的:(120项优化: 超级爬虫Hawk 2.0重磅发布!)