介绍一款好用又易学的爬虫工具:web scraper

[TOC]

web scraper

简介:

Web Scraper分为chrome插件和云服务两种,云服务是收费的,chrome插件是免费的,这里说的就是chrome插件这种。 Web Scraper插件,可以让你以“所见即所得”的方式挑选要提取的网页数据,形成模版,以后可以随时执行该模版,并且执行结果可以导出成Csv格式。 web scraper 比较类似selenium和火车头浏览器,不过web scraper功能要少的多,不过更加小巧,学习成本更低

优点

  • 抓取需要登录的数据较方便,因为这个插件是运行在浏览器上的。
  • 只要抓取频率慢一点,被网站屏蔽的概率较小,也因为是浏览器的原因,这就像是真实的用户访问一样。
  • 学习成本低

缺点

  • 好像并不能做验证码识别
  • 抓取效率较低,相对于爬虫程序来说,Web scraper没法大并发,快速切换IP等,所以大量级的数据抓取用Web Scrpaer不适合,慢慢抓大几千网页还是可以。
  • 插件本身是不支持配置定时任务的,云服务提供了这种功能,不过是收费的,到是可以尝试使用Python驱动谷歌来进而来操作web scraper的定时

下载地址:

webscraper.io/

crx文件:jnhgnonknehpejjnehehllkliplmbmhn_0_2_0_18.crx

操作

安装

谷歌浏览器

  • 打开google浏览器,进入应用

介绍一款好用又易学的爬虫工具:web scraper_第1张图片


  • 点击网上应用商店

介绍一款好用又易学的爬虫工具:web scraper_第2张图片


  • 输入框搜索web scraper,点击添加到chrome

介绍一款好用又易学的爬虫工具:web scraper_第3张图片


  • 安装完成

火狐浏览器

  • 点击右上角的菜单按钮,然后点击进入web开发者

介绍一款好用又易学的爬虫工具:web scraper_第4张图片


  • 点击获取更多工具

介绍一款好用又易学的爬虫工具:web scraper_第5张图片


  • 在搜索框里输入web scraper进行搜索

介绍一款好用又易学的爬虫工具:web scraper_第6张图片


  • 点击添加到 Firefox

介绍一款好用又易学的爬虫工具:web scraper_第7张图片



介绍一款好用又易学的爬虫工具:web scraper_第8张图片


使用说明

  • 进入谷歌浏览器,按F12进入开发者模式
  • 安装好web scraper插件之后呢,会在最后出现web scraper标示

介绍一款好用又易学的爬虫工具:web scraper_第9张图片
  • 点击进入web scraper

介绍一款好用又易学的爬虫工具:web scraper_第10张图片


  • 首先,我们点击create new sitemaps -->create sitemaps,来创建一个爬虫项目
  • 输入爬虫名称和需要采集的url,点击创建项目

介绍一款好用又易学的爬虫工具:web scraper_第11张图片


  • 点击Add new selector创建一个选择器

介绍一款好用又易学的爬虫工具:web scraper_第12张图片


  • 配置相关参数

介绍一款好用又易学的爬虫工具:web scraper_第13张图片


  • 运行爬虫,查看数据

介绍一款好用又易学的爬虫工具:web scraper_第14张图片

你可能感兴趣的:(介绍一款好用又易学的爬虫工具:web scraper)