【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费

EasySpider是一个可视化爬虫软件,可以使用图形化界面,无代码可视化的设计和执行爬虫任务。只需要在网页上选择自己想要爬的内容并根据提示框操作即可完成爬虫设计和执行。同时软件还可以单独以命令行的方式进行执行,从而可以很方便的嵌入到其他系统中。自发布以来,已经有3.9K Star

一、下载安装EasySpider

支持Windows、MacOS、Linux系统安装。

下载地址:
https://github.com/NaiboWang/EasySpider/releases
【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第1张图片

下载完成后,如下图所示(macos安装为例):
【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第2张图片

二、体验初探:获取ebay网站数据

1、设计任务

1)打开EasySpider主程序

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第3张图片

2)点击【中文】

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第4张图片

3)点击【设计任务】

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第5张图片
然后这里选择【使用纯净版浏览器设计】,无需用户登录信息。
【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第6张图片

4)进入EasySpider设计窗口,大概过5秒钟后,会同时打开一个浏览器窗口

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第7张图片

5)点击【新建任务】,输入ebay网址地址https://www.ebay.com,点击【开始设计】,打开ebay官网

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第8张图片
【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第9张图片

6)输入搜索关键字:右击搜索框,点击【输入文字】按钮;输入搜索关键字,然后点击【确定】按钮


7)搜索:右击【搜索】按钮,点击【点击该按钮】,搜索出关于关键字“手机”的所有商品


【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第10张图片
此时会发现EasySpider主窗口的设计面板,会多出输入文字、点击元素两个动作,表示刚才的操作被加入当前任务队列中了。

8)采集标题:右击手机商品的标题,点击【选择全部】,这时所有的商品的标题都会选中;点击【采集数据】,则采集当前页面的手机商品标题的任务会被加入队列中


这时可以看到EasySpider主窗口的设计面板,又有新的任务加入。
【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第11张图片

9)循环点击下一页:页面滚动至底部,可以看到分页按钮;右击【下一页】按钮,点击【循环点击该链接】按钮


【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第12张图片

10)通过【剪切元素】调整任务顺序,实现循环点击下一页并循环相应页面的所有商品标题

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第13张图片
【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第14张图片
最终采集步骤如下所示:
【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第15张图片
注意:执行步骤6至10过程中每个步骤可能会失败,单个步骤多重复操作1~2次就行

11)保存设计任务,关闭设计窗口,返回首页

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第16张图片

2、执行任务

1)回到EasySpider首页,点击【查看执行任务】

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第17张图片

2)点击【任务信息】

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第18张图片

3)点击【调用任务】

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第19张图片

4)修改执行任务条件,点击【本地直接执行】按钮;复制弹框里的执行脚本

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第20张图片

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第21张图片

5)打开easyspider_executestage程序,粘贴步骤5生成的脚本,然后静静地等待任务执行完成

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第22张图片

6)最终获取的数据文件会保存在Data目录下

【Python】EasySpider:一个很强大的可视化网络爬虫工具,100%开源完全免费_第23张图片
EasySpider官网地址:
https://github.com/NaiboWang/EasySpider

你可能感兴趣的:(爬虫,信息可视化)