Hawk: 无编程抓取淘女郎的所有高清照片

1.这是什么鬼?

哦?美女?
最近看了这一篇文章:http://cuiqingcai.com/1001.html

大概说的是用Python和Pyspider(这货好像是我的一位师兄写的,吓尿),抓取淘宝淘女郎的所有美女照片。只是里面还要敲一堆代码,还要用其他动态js运行框架,看着好不烦人啊。

Hawk是沙漠君开发的一款爬虫和清洗工具,目前已经在Github开源:
https://github.com/ferventdesert/Hawk

最近沙漠君很开心啊,开发的Hawk在GitHub上上百个star,还有歪果仁来帮忙做英文国际化,哈哈哈。

那既然如此,我也用Hawk练练手,基本无需编程,直接无视动态js调用,下载高清图片。造福各位园友。

这简直就是用Hawk做坏事,顺便炫技啊~~

2.先让兄弟们饱饱眼福?

先看看抓取的效果,我才不直接放高清图呢!
Hawk: 无编程抓取淘女郎的所有高清照片_第1张图片
恩,先去下载软件吧,在百度云盘(这货最近经常脑抽),如果你之前下过软件,一定要更新Hawk开头的dll和exe文件,其他不需要。因为勤劳的沙漠君又更新代码了...
http://pan.baidu.com/s/1c8zBiQ 密码:4iy0
注意三个后缀名为config和xml的配置文件一定要下载回来,之后双击Hawk.exe.
我已经把工程文件共享出来了。地址在:
https://github.com/ferventdesert/Hawk-Projects/tree/master/淘女郎

在Hawk菜单->文件->加载工程,把project.xml加载进来。会是下面的样子:
Hawk: 无编程抓取淘女郎的所有高清照片_第2张图片
然后,双击“主流程”(点这三个字所在的位置)

之后任务就会被加载进来,在右下角显示所有的任务和数据表:
Hawk: 无编程抓取淘女郎的所有高清照片_第3张图片

接下来,在算法视图上,双击主流程,就可以看到这个任务的窗口和属性配置框了:
Hawk: 无编程抓取淘女郎的所有高清照片_第4张图片
哈哈,不仅有详细的名字,地址,甚至还有身高体重等详细信息,各位慢慢看。

说好的保存图片呢?别急别急,这只是在模拟运行模式,保存图片这种有副作用的任务是不会执行的。

那我的图片保存在哪里了?注意看到刚才的project.xml文件同目录下,还有主流程.py,这是一个用于配置流程的py脚本。我把一部分内容贴在下面:


#########下面是正式配置文件
#是否要抓取图片?
get(主流程.etls,-1).Enabled=True;

#照片保存路径
path='D:\淘女郎'

#将相册表保存起来吗?
get(相册.etls,-1).Enabled=True;

#保存大图吗?False则只保存小图
find(相册.etls,lambda x:x.Name=='大图').Enabled=True

#每个女郎最多抓取多少张照片
照片数量控制.Take=1000

find(相册.etls,lambda x:x.Name=='图片位置').NewValue=path;

我应该不用解释了吧?对文件进行修改,注意编码格式是UTF-8,然后在模块管理卷展栏的主流程位置点右键,执行任务脚本:

它就会对当前的任务进行修改,如果下面的日志文件显示:

那么脚本没有语法错误,已经成功提交。

之后,激动人心的时刻到了,在属性对话框点击执行:
Hawk: 无编程抓取淘女郎的所有高清照片_第5张图片
然后,20个并行抓取任务线程就已经开始了:
Hawk: 无编程抓取淘女郎的所有高清照片_第6张图片
系统会自动维持线程列表中的线程数量,只有旧任务工作完毕后,才会添加新的线程进来。
下面的三个表,分别是淘女郎信息表,相册信息表,和照片信息表。采集完毕后,你可以点右键,导出到excel,csv..
Hawk: 无编程抓取淘女郎的所有高清照片_第7张图片
至于图片嘛,看看你设置的那个文件夹吧:

Enjoy!

3.代码是怎么写的?

Hawk本身是开源的,本质上是个编译和解释器。生成的xml就是代码和控制逻辑。很多个模块构成处理链条,你可以控制链条上的模块数量,就能观察数据是如何被采集和处理的。
整个程序包含两个流程:

  • 主流程:负责从页面生成淘女郎的详细信息列表
  • 相册:负责从淘女郎的id和姓名,获取其对应的照片。

主流程:获取女孩信息

先看主流程,我们把调试数量改为1,勾选显示调试详情,点击下一步:

会有下面的信息显示出来,绿色代表该模块输入的列,蓝色代表输出的列。在调试模块属性中显示的是当前模块的基本信息和配置。

Hawk: 无编程抓取淘女郎的所有高清照片_第8张图片

基本的逻辑就是,生成从1到4700页的区间数,然后将它们分别转换成url:
https://mm.taobao.com/json/request_top_list.htm?page={0}
然后通过从爬虫采集,获取女孩的列表,再根据用户的id,组合出详情页,并把详情页的信息附加到当前表。将表的内容写入到“淘女郎”表,再针对每个女孩的id,去获取她的相册信息。

相册:获取单个女孩的照片

如果你直接双击相册模块,肯定是出现下面的情况,什么数据都没有:
Hawk: 无编程抓取淘女郎的所有高清照片_第9张图片
为什么呢?因为没有提供数据源。在主流程中,相册模块会读取主流程的id和名字两个列的内容,作为输入参数。但独立运行时,需要两个从文本生成来提供任务参数。

因此,我们勾选那两个从文本生成的单选框,表示启用之:
再点刷新,是不是就都有了?

你也可以单步调试,看看这个模块是怎么获得的。基本流程如下:

  1. 通过女孩的id,组合出相册的url,比如下面:
    mm.taobao.com/self/album/open_album_list.htm?_charset=utf-8&user_id%20=687471686
  2. 通过一个网页采集器,名称为相册列表获取相册
  3. 再通过相册ID,获取相册的URL。相册的URL需要构造请求,获得的是Json。
  4. 把Json的头部Jsonp和末尾的括号去掉,形成正确格式的json
  5. 送入文本到Json转换模块,得到的是字典
  6. 使用Python转换器,提取里面的picList,再转换为文档列表。这就是照片列表
  7. 将路径和相册id,组合成实际要保存的图片的位置
  8. 加入保存超链接文件,会把指定url的文件保存到指定位置

欣赏完相册是怎么执行的之后,在切换回主流程之前,记得把那两个从文本生成关掉。否则会影响主流程的调用。
有两种方法,一种是在主流程任务那里,执行任务脚本,系统会自动操作。
也可以直接在相册的属性对话框中,点击编辑集合,把最上面两个的启用去掉:
Hawk: 无编程抓取淘女郎的所有高清照片_第10张图片

值得一提的是,模块上都有标签属性,你可以给某一组的模块打上固定的标签,在外部的python代码中通过标签搜索这些模块,进行批量处理。具体可以参考刚才的那个py文件。

3.下一篇文章的内容?

限于篇幅,本文没有详细地讲解如何模拟动态请求,如何探测请求的内容,这些都会在下一篇文章介绍。
Hawk系列文章:
Hawk-数据抓取工具:简明教程
Hawk: 20分钟无编程抓取大众点评17万数据
etlpy: 并行爬虫和数据清洗工具
有任何问题,欢迎随时交流。

你可能感兴趣的:(Hawk: 无编程抓取淘女郎的所有高清照片)