一键抓取网页的所有图片

       前一阵因为一个项目中的爬取需求,用python3写了个爬取网页图片的工具,中间碰到了不少问题,例如不同网页的图片地址格式不同,存放位置也不尽相同,就很让人头疼,趟了不少雷还好都解决了,客户是IT小白,所以操作界面必须也得傻瓜式的简单易懂,吐槽一下wxpython开发界面真够原始的。

       本工具有以下功能特点:1、支持多个网页的图片抓取,支持模板网页类似迅雷下载多个文件,支持导入网址文件;2、支持本机抓取和代理抓取;3、支持手工中断抓取;4、支持自定义图片存储目录,并按照网址特征自动为图片创建分类目录;5、支持下载图片失败自动清理;6、支持下载图片去重功能;7、支持抓取过程中查看已下载图片;

       功能介绍视频地址:https://v.youku.com/v_show/id_XNDcyOTk2NDYxMg==.html

       功能测试结果:搜索网站类似百度,知识网站类似知乎、行业网站类似汽车X家、常见美女/美景网站,均可抓取成功。

      功能界面截图:

       1、下载后解压缩到本地,双击get_page_image.exe即可启动本软件

         2、填写要下载网页的地址,从浏览器中直接粘贴过来即可;或者从网址文件直接导入,支持文本文件一个网址一行

      3、填写存储图片文件夹名称,例如汽车、装修等等,可设置自动创建图片分类目录

      4、点击“开始抓取”按钮即可,抓取过程中会显示日志

一键抓取网页的所有图片_第1张图片

       5、抓取过程中可以点击“打开图片目录”按钮查看已下载的图片  

       欢迎各位同学下载体验交流,下载地址:

      http://www.tomsoftcent.com:8180/download/抓取网页图片.rar

你可能感兴趣的:(数据采集)